A stochastic gradient method with variance control and variable learning rate for Deep Learning

In this paper we study a stochastic gradient algorithm which rules the increase of the mini-batch size in a predefined fashion and automatically adjusts the learning rate by means of a monotone or non-monotone line search procedure. The mini-batch size is incremented at a suitable a priori rate thro...

Celý popis

Podrobná bibliografie

Vydáno v:	Journal of computational and applied mathematics Ročník 451; s. 116083
Hlavní autoři:	Franchini, Giorgia, Porta, Federica, Ruggiero, Valeria, Trombini, Ilaria, Zanni, Luca
Médium:	Journal Article
Jazyk:	angličtina
Vydáno:	Elsevier B.V 01.12.2024
Témata:	Deep learning Hyperparameters tuning Line search Stochastic gradient method Line search Deep learning Stochastic gradient method Hyperparameters tuning
ISSN:	0377-0427
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!