Efficient Transformer Inference with Statically Structured Sparse Attention

Self-attention matrices of Transformers are often highly sparse because the relevant context of each token is typically limited to just a few other tokens in the sequence. To reduce the computational burden of self-attention on Transformer inference, we propose static, structured, sparse attention m...

Ausführliche Beschreibung

Bibliographische Detailangaben

Veröffentlicht in:	2023 60th ACM/IEEE Design Automation Conference (DAC) S. 1 - 6
Hauptverfasser:	Dai, Steve, Genc, Hasan, Venkatesan, Rangharajan, Khailany, Brucek
Format:	Tagungsbericht
Sprache:	Englisch
Veröffentlicht:	IEEE 09.07.2023
Schlagworte:	Deep learning Design automation Energy consumption Inference algorithms Sparse matrices Task analysis Transformers
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!