AASD: Accelerate Inference by Aligning Speculative Decoding in Multimodal Large Language Models

Multimodal Large Language Models (MLLMs) have achieved notable success in visual instruction tuning, yet their inference is time-consuming due to the auto-regressive decoding of Large Language Model (LLM) backbone. Traditional methods for accelerating inference, including model compression and migra...

Celý popis

Podrobná bibliografie

Vydáno v:	2025 62nd ACM/IEEE Design Automation Conference (DAC) s. 1 - 7
Hlavní autoři:	Yang, Chaoqun, Chen, Ran, Zhang, Muyang, Pang, Weiguang, Chen, Yuzhi, Xu, Rongtao, Fu, Kexue, Wang, Changwei, Gao, Longxiang
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 22.06.2025
Témata:	Computational modeling Decoding Faces Feature extraction Focusing Inference Acceleration Large language models Model compression Multimodal Large Language Model Question answering (information retrieval) Speculative Decoding Tuning Visualization
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!