Multi-stage stochastic gradient method with momentum acceleration

•Stage-wise optimization and momentum have been widely employed to accelerate SGD.•Negative momentum provides acceleration and stabilization on stochastic first-order methods.•Negative momentum extends Nesterovs momentum to the stage-wise optimization.•Gradient correction avoids the oscillations and...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Veröffentlicht in:	Signal processing Jg. 188; S. 108201
Hauptverfasser:	Luo, Zhijian, Chen, Siyu, Qian, Yuntao, Hou, Yueen
Format:	Journal Article
Sprache:	Englisch
Veröffentlicht:	Elsevier B.V 01.11.2021
Schlagworte:	Convex optimization Momentum acceleration Multi-stage Stochastic gradient descent Stochastic gradient descent Convex optimization Multi-stage Momentum acceleration
ISSN:	0165-1684, 1872-7557
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Schreiben Sie den ersten Kommentar!