DuQTTA: Dual Quantized Tensor-Train Adaptation with Decoupling Magnitude-Direction for Efficient Fine-Tuning of LLMs

Recent parameter-efficient fine-tuning (PEFT) techniques have enabled large language models (LLMs) to be efficiently fine-tuned for specific tasks, while maintaining model performance with minimal additional trainable parameters. However, existing PEFT techniques continue to face challenges in balan...

Celý popis

Podrobná bibliografie

Vydáno v:	2025 62nd ACM/IEEE Design Automation Conference (DAC) s. 1 - 7
Hlavní autoři:	Dong, Haoyan, Chen, Hai-Bao, Chang, Jingjing, Yang, Yixin, Gao, Ziyang, Ji, Zhigang, Wang, Runsheng, Huang, Ru
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 22.06.2025
Témata:	Accuracy Adaptation models adaptive optimization strategy dual quantization Faces Large language models LLMs magnitude-direction decoupled Memory management Optimization Power demand Quantization (signal) Scalability Tensor-Train Tensors
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!