Hessian regularization of deep neural networks: A novel approach based on stochastic estimators of Hessian trace

[Display omitted] •Connecting Hessian trace with a generalization error bound.•Flat minima of loss landscape and stability analysis in dynamical systems.•Efficient Hessian trace regularization algorithm with Dropout.•Performance comparison on vision and language tasks. In this paper, we develop a no...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Veröffentlicht in:	Neurocomputing (Amsterdam) Jg. 536; S. 13 - 20
Hauptverfasser:	Liu, Yucong, Yu, Shixing, Lin, Tong
Format:	Journal Article
Sprache:	Englisch
Veröffentlicht:	Elsevier B.V 01.06.2023
Schlagworte:	Dynamical system Flat minima Hessian regularization Stochastic algorithm Hessian regularization Stochastic algorithm Dynamical system Flat minima
ISSN:	0925-2312, 1872-8286
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Schreiben Sie den ersten Kommentar!