Falcon: Addressing Stragglers in Heterogeneous Parameter Server Via Multiple Parallelism

The parameter server architecture has shown promising performance advantages when handling deep learning (DL) applications. One crucial issue in this regard is the presence of stragglers, which significantly retards DL training progress. Previous solutions for solving stragglers may not fully exploi...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Veröffentlicht in:	IEEE transactions on computers Jg. 70; H. 1; S. 139 - 155
Hauptverfasser:	Zhou, Qihua, Guo, Song, Lu, Haodong, Li, Li, Guo, Minyi, Sun, Yanfei, Wang, Kun
Format:	Journal Article
Sprache:	Englisch
Veröffentlicht:	New York IEEE 01.01.2021 The Institute of Electrical and Electronics Engineers, Inc. (IEEE)
Schlagworte:	Algorithms Computation Computational modeling Computer architecture Convergence Design parameters Distributed deep learning Guidelines Heterogeneity heterogeneous environment Inspection Machine learning Parallel processing parameter server Servers straggler Synchronism Task analysis Training
ISSN:	0018-9340, 1557-9956
Online-Zugang:	Volltext
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Schreiben Sie den ersten Kommentar!