Redundant computations in task-based parallelism with applications to communication-reducing algorithms
Saved in:
| Title: | Redundant computations in task-based parallelism with applications to communication-reducing algorithms |
|---|---|
| Authors: | Agullo, Emmanuel, Buttari, Alfredo, Guermouche, Abdou, Jego, Antoine |
| Contributors: | COmposabilité Numerique and parallèle pour le CAlcul haute performanCE (CONCACE), Centre Européen de Recherche et de Formation Avancée en Calcul Scientifique (CERFACS)-Centre Inria de l'Université de Bordeaux, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Airbus Central Research and Technology (Airbus CR&T), Algorithmes Parallèles et Optimisation (IRIT-APO), Institut de recherche en informatique de Toulouse (IRIT), Université Toulouse Capitole (UT Capitole), Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Université Toulouse - Jean Jaurès (UT2J), Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Centre National de la Recherche Scientifique (CNRS)-Institut National Polytechnique (Toulouse) (Toulouse INP), Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Université de Toulouse (EPE UT), Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Toulouse Mind & Brain Institut (TMBI), Université Toulouse - Jean Jaurès (UT2J), Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Université de Toulouse (EPE UT), Communauté d'universités et établissements de Toulouse (Comue de Toulouse)-Université Toulouse Capitole (UT Capitole), Communauté d'universités et établissements de Toulouse (Comue de Toulouse), Centre National de la Recherche Scientifique (CNRS), Institut National Polytechnique (Toulouse) (Toulouse INP), Université de Bordeaux (UB), Outils et Optimisations pour le Calcul Haute Performance et l'Apprentissage (TOPAL), Laboratoire Bordelais de Recherche en Informatique (LaBRI), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS)-Centre Inria de l'Université de Bordeaux, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut Polytechnique de Bordeaux (Bordeaux INP), Université de Bordeaux (UB)-École Nationale Supérieure d'Électronique, Informatique et Radiocommunications de Bordeaux (ENSEIRB)-Centre National de la Recherche Scientifique (CNRS), Performance et Qualité des Algorithmes Numériques (PEQUAN), LIP6, Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS), ANR-19-CE46-0009,SOLHARIS,Solveurs pour architectures hétérogènes utilisant des supports d'exécution, objectif scalabilité(2019), ANR-22-EXNU-0003,Exa-Soft,High Performance Computing software and tools(2022) |
| Source: | https://hal.science/hal-05176537 ; 2025. |
| Publisher Information: | CCSD |
| Publication Year: | 2025 |
| Subject Terms: | Task-Based programming, Redundant computation, Runtime System, Communication-Avoiding, [INFO]Computer Science [cs] |
| Description: | Task-based runtime systems offer productive programming models to develop applications that can efficiently exploit modern supercomputers. Meanwhile, the high-level of hardware concurrency available on these machines led the community to develop new algorithms trading-off redundant computations with communications, often referred to as "communicationreducing" or "communication-avoiding" algorithms. Designing such algorithms on top of task-based runtime systems turns out to be challenging without specific support in the programming model. This article proposes an extension of the Sequential Task Flow (STF) programming model aiming at maintaining its elegance and productivity when dealing with redundant computation. The proposed extension is implemented in the StarPU runtime system. We assess our proposal with two widely used algorithms involving redundant computations arising from dense matrix factorization and stencil computation, respectively. We show that these complex algorithms can be written in a compact, data-and architecture-agnostic way while ensuring high-performance on up to 256 computational nodes. |
| Document Type: | report |
| Language: | English |
| Availability: | https://hal.science/hal-05176537 https://hal.science/hal-05176537v1/document https://hal.science/hal-05176537v1/file/submission.pdf |
| Rights: | info:eu-repo/semantics/OpenAccess |
| Accession Number: | edsbas.F94AF8F6 |
| Database: | BASE |
Nájsť tento článok vo Web of Science Be the first to leave a comment!