Improving Deep Neural Networks' Training for Image Classification With Nonlinear Conjugate Gradient-Style Adaptive Momentum

Momentum is crucial in stochastic gradient-based optimization algorithms for accelerating or improving training deep neural networks (DNNs). In deep learning practice, the momentum is usually weighted by a well-calibrated constant. However, tuning the hyperparameter for momentum can be a significant...

Celý popis

Podrobná bibliografie

Vydáno v:	IEEE transaction on neural networks and learning systems Ročník 35; číslo 9; s. 12288 - 12300
Hlavní autoři:	Wang, Bao, Ye, Qiang
Médium:	Journal Article
Jazyk:	angličtina
Vydáno:	United States IEEE 01.09.2024
Témata:	Adaptive momentum Classification algorithms Convergence Deep learning Image classification nonlinear conjugate gradient (NCG) Robustness Stochastic processes Training
ISSN:	2162-237X, 2162-2388, 2162-2388
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!