Naturalness of Attention: Revisiting Attention in Code Language Models

Language models for code such as CodeBERT offer the capability to learn advanced source code representation, but their opacity poses barriers to understanding of captured properties. Recent attention analysis studies provide initial interpretability insights by focusing solely on attention weights r...

Celý popis

Podrobná bibliografie

Vydáno v:	IEEE/ACM International Conference on Software Engineering: New Ideas and Emerging Technologies Results (Online) s. 107 - 111
Hlavní autoři:	Saad, Mootez, Sharma, Tushar
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	ACM 14.04.2024
Témata:	Analytical models Attention Analysis Attention mechanisms Codes Explainable AI Focusing Interpretability Java Language Models of Code Norm Analysis Python Software engineering Source coding Syntactics Transformers
ISSN:	2832-7632
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!