Efficient Transformer Inference with Statically Structured Sparse Attention

Self-attention matrices of Transformers are often highly sparse because the relevant context of each token is typically limited to just a few other tokens in the sequence. To reduce the computational burden of self-attention on Transformer inference, we propose static, structured, sparse attention m...

Celý popis

Podrobná bibliografie

Vydáno v:	2023 60th ACM/IEEE Design Automation Conference (DAC) s. 1 - 6
Hlavní autoři:	Dai, Steve, Genc, Hasan, Venkatesan, Rangharajan, Khailany, Brucek
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 09.07.2023
Témata:	Deep learning Design automation Energy consumption Inference algorithms Sparse matrices Task analysis Transformers
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!