Distributed-memory multi-GPU block-sparse tensor contraction for electronic structure - Université Claude Bernard Lyon 1 Accéder directement au contenu
Rapport (Rapport De Recherche) Année : 2020

Distributed-memory multi-GPU block-sparse tensor contraction for electronic structure

Contraction de tenseur creux par blocs sur plates-formes distribuées équipées de nœuds multi-GPUs

Résumé

Many domains of scientific simulation (chemistry, condensed matter physics,data science) increasingly eschew dense tensors for block-sparse tensors, sometimes with additional structure (recursive hierarchy, rank sparsity, etc.). Distributed-memory parallel computation with block-sparse tensorial data is paramount to minimize the time-to-solution (e.g.,to study dynamical problems or for real-time analysis) and to accommodate problems of realistic size that are too large to fit into the host/device memory of a single node equipped with accelerators. Unfortunately, computation with such irregular data structures is a poor match to the dominant imperative, bulk-synchronous parallel programming model. In this paper, we focus on the critical element of block-sparse tensoralgebra, namely binary tensor contraction, and report on an efficient and scalable implementation using the task-focused PaRSEC runtime. High performance of the block-sparse tensor contraction on the Summit supercomputer is demonstrated for synthetic data aswell as for real data involved in electronic structure simulations of unprecedented size.
Les tenseurs creux par blocs (block-sparse) sont présents dans de nombreux domaines scienfiifiques. Ce rapport étudie la parallélisation d’un noyau de contraction essentiel pour la manipulation de tels tenseurs, qui peut se matérialiser sous forme d’un produit de matrices C←C+AB, où les trois matrices ont une structure creuse par blocs, où les tuiles de A et B sont de tailles hétérogènes, et où Best carrée de taille n, alors que A et C sont rectangulaires de taille m×n avec m << n. Nous proposons une implémentation sur la plate-forme Summit à mémoire distribuée, où chaque nœud est équipé de plusieurs GPUs, au sein de l’environnement de tâches PaRSEC. Nous obtenons de bonnes performances pour des problèmes de taille inégalées à ce jour.
Fichier principal
Vignette du fichier
rr9353.pdf (1.27 Mo) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)
Loading...

Dates et versions

hal-02872813 , version 1 (17-06-2020)

Identifiants

  • HAL Id : hal-02872813 , version 1

Citer

Thomas Herault, Yves Robert, George Bosilca, Robert Harrison, Cannada A Lewis, et al.. Distributed-memory multi-GPU block-sparse tensor contraction for electronic structure. [Research Report] RR-9353, Inria - Research Centre Grenoble – Rhône-Alpes. 2020. ⟨hal-02872813⟩
158 Consultations
247 Téléchargements

Partager

Gmail Facebook X LinkedIn More