The complexity dynamics of grokking

We demonstrate the existence of a complexity phase transition in neural networks by studying the grokking phenomenon, where networks suddenly transition from memorization to generalization long after overfitting their training data. To characterize this phase transition, we introduce a theoretical f...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Veröffentlicht in:	Physica. D Jg. 482; S. 134859
Hauptverfasser:	DeMoss, Branton, Sapora, Silvia, Foerster, Jakob, Hawes, Nick, Posner, Ingmar
Format:	Journal Article
Sprache:	Englisch
Veröffentlicht:	Elsevier B.V 01.11.2025
Schlagworte:	Algorithmic complexity Grokking Phase transition Algorithmic complexity Grokking Phase transition
ISSN:	0167-2789
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Schreiben Sie den ersten Kommentar!