AttentionLib: A Scalable Optimization Framework for Automated Attention Acceleration on FPGA

The self-attention mechanism is a fundamental component within transformer-based models. Nowadays, as the length of sequences processed by large language models (LLMs) continues to increase, the attention mechanism has gradually become a bottleneck in model inference. The LLM inference process can b...

Celý popis

Podrobná bibliografie

Vydáno v:	Proceedings - Design, Automation, and Test in Europe Conference and Exhibition s. 1 - 7
Hlavní autoři:	Liu, Zhenyu, Zhou, Xilang, Sun, Faxian, Chen, Jianli, Yu, Jun, Wang, Kun
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	EDAA 31.03.2025
Témata:	Attention mechanisms Computational modeling Engines Field programmable gate arrays FPGA Fusion Hardware HLS Manuals MLIR Optimization Scalability Space exploration Transformer Transformers
ISSN:	1558-1101
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!