Multi-stage stochastic gradient method with momentum acceleration

•Stage-wise optimization and momentum have been widely employed to accelerate SGD.•Negative momentum provides acceleration and stabilization on stochastic first-order methods.•Negative momentum extends Nesterovs momentum to the stage-wise optimization.•Gradient correction avoids the oscillations and...

Celý popis

Podrobná bibliografie

Vydáno v:	Signal processing Ročník 188; s. 108201
Hlavní autoři:	Luo, Zhijian, Chen, Siyu, Qian, Yuntao, Hou, Yueen
Médium:	Journal Article
Jazyk:	angličtina
Vydáno:	Elsevier B.V 01.11.2021
Témata:	Convex optimization Momentum acceleration Multi-stage Stochastic gradient descent Stochastic gradient descent Convex optimization Multi-stage Momentum acceleration
ISSN:	0165-1684, 1872-7557
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!