Fast curvature matrix-vector products for second-order gradient descent

We propose a generic method for iteratively approximating various second-order gradient steps - Newton, Gauss-Newton, Levenberg-Marquardt, and natural gradient - in linear time per iteration, using special curvature matrix-vector products that can be computed in O(n). Two recent acceleration techniq...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Veröffentlicht in:	Neural computation Jg. 14; H. 7; S. 1723
1. Verfasser:	Schraudolph, Nicol N
Format:	Journal Article
Sprache:	Englisch
Veröffentlicht:	United States 01.07.2002
Schlagworte:	Acceleration Algorithms Neural Networks (Computer) Stochastic Processes
ISSN:	0899-7667
Online-Zugang:	Weitere Angaben
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Schreiben Sie den ersten Kommentar!