IterL2Norm: Fast Iterative L2-Normalization

Transformer-based large language models are a memory-bound model whose operation is based on a large amount of data that are marginally reused. Thus, the data movement between a host and accelerator likely dictates the total wall-clock time. Layer normalization is one of the key workloads in the tra...

Celý popis

Podrobná bibliografie

Vydáno v:	Proceedings - Design, Automation, and Test in Europe Conference and Exhibition s. 1 - 7
Hlavní autoři:	Ye, ChangMin, Sim, Yonguk, Kim, Youngchae, Jin, SeongMin, Jeong, Doo Seok
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	EDAA 31.03.2025
Témata:	Convergence Data models fast convergence Iterative algorithms IterL2Norm Large language models layer normalization Semiconductor device modeling Solid modeling Solids Steady-state Transformers Vectors
ISSN:	1558-1101
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!