PRT: An Efficient Pipeline Reuse Technology for Large Models Training

The rapid evolution of large models and the widespread application of extensive datasets have made the cost of training increasingly prohibitive. While pipeline model parallelism makes it possible to train large models, existing pipeline techniques find it difficult to reduce bubble time due to thei...

Celý popis

Podrobná bibliografie

Vydáno v:	Proceedings / IEEE International Conference on Cluster Computing s. 1 - 11
Hlavní autoři:	Ji, Zeyu, Zhai, Banghao, Zhang, Zhonghao, Chu, Qi, Liu, Bin
Médium:	Konferenční příspěvek
Jazyk:	angličtina
Vydáno:	IEEE 02.09.2025
Témata:	Bidirectional control Computational modeling Distributed training Encoding Memory management Parallel processing Pipeline Model Parallelism Pipeline Reuse Technology Pipelines Resource management Servers Throughput Training
ISSN:	2168-9253
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!