APapo: An asynchronous parallel optimization method for DNN models

To address the challenges related to segmentation complexity, high memory usage, extended training duration, and low equipment utilization in parallel optimization of large-scale deep neural network (DNN) models, this paper proposes an asynchronous parallel optimization method APapo. Firstly, a mult...

Celý popis

Podrobná bibliografie

Vydáno v:	Future generation computer systems Ročník 152; s. 317 - 330
Hlavní autoři:	Liu, Shuai, Ju, Tao
Médium:	Journal Article
Jazyk:	angličtina
Vydáno:	Elsevier B.V 01.03.2024
Témata:	Asynchronous pipeline parallelism Augmented antichain Computation–communication overlap DNN model parallelism Model segmentation Model segmentation Augmented antichain Computation–communication overlap DNN model parallelism Asynchronous pipeline parallelism
ISSN:	0167-739X, 1872-7115
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!