Why RELU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks

Recently, neural networks in machine learning use rectified linear units (ReLUs) in early processing layers for better performance. Training these structures sometimes results in "dying ReLU units" with near-zero outputs. We first explore this condition via simulation using the CIFAR-10 da...

Celý popis

Podrobná bibliografie

Vydáno v:	Conference record - Asilomar Conference on Signals, Systems, & Computers s. 864 - 868
Hlavní autoři:	Douglas, Scott C., Yu, Jiutian
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 01.10.2018
Témata:	adaptation models adaptive algorithms algorithm design and analysis Analytical models backpropagation algorithms Computer architecture Convergence Machine learning Neural networks Probability Training
ISSN:	2576-2303
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!