M22: A Communication-Efficient Algorithm for Federated Learning Inspired by Rate-Distortion

In federated learning (FL), the communication constraint between the remote clients and the Parameter Server (PS) is a crucial bottleneck. For this reason, model updates must be compressed so as to minimize the loss in accuracy resulting from the communication constraint. This paper proposes "M...

Celý popis

Uloženo v:

Podrobná bibliografie
Vydáno v:	IEEE transactions on communications Ročník 72; číslo 2; s. 845 - 860
Hlavní autoři:	Liu, Yangyi, Rini, Stefano, Salehkalaibar, Sadaf, Chen, Jun
Médium:	Journal Article
Jazyk:	angličtina
Vydáno:	New York IEEE 01.02.2024 The Institute of Electrical and Electronics Engineers, Inc. (IEEE)
Témata:	Accuracy Algorithms Artificial neural networks Codes Communication Compression algorithms Degrees of freedom Distortion Distortion measurement DNN gradient modeling Federated learning gradient compression gradient quantization gradient sparsification Iterative methods Machine learning Mathematical models Parameters Quantization (signal) Rate-distortion Reconstruction Training
ISSN:	0090-6778, 1558-0857
On-line přístup:	Získat plný text
Tagy:	Přidat tag Žádné tagy, Buďte první, kdo vytvoří štítek k tomuto záznamu!

Buďte první, kdo okomentuje tento záznam!