Hessian regularization of deep neural networks: A novel approach based on stochastic estimators of Hessian trace

[Display omitted] •Connecting Hessian trace with a generalization error bound.•Flat minima of loss landscape and stability analysis in dynamical systems.•Efficient Hessian trace regularization algorithm with Dropout.•Performance comparison on vision and language tasks. In this paper, we develop a no...

Celý popis

Podrobná bibliografie

Vydáno v:	Neurocomputing (Amsterdam) Ročník 536; s. 13 - 20
Hlavní autoři:	Liu, Yucong, Yu, Shixing, Lin, Tong
Médium:	Journal Article
Jazyk:	angličtina
Vydáno:	Elsevier B.V 01.06.2023
Témata:	Dynamical system Flat minima Hessian regularization Stochastic algorithm Hessian regularization Stochastic algorithm Dynamical system Flat minima
ISSN:	0925-2312, 1872-8286
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!