Towards Parallel Transformer-Based Large Language Models for Fast Inference
Une architecture de grands modèles de texte parallèle basée sur les Transformers pour l'inférence parallèle rapide
Résumé
Transformer-based models have reached quality levels that make them attractive for a wide range of applications, including those demanding faster generation speeds such as multimedia artifact generation. However, traditional parallelism techniques have struggled to meet these speed requirements due to the inherently sequential structure of Transformers, which limits parallel execution.
We propose a simple modeling to the parallel execution of Transformer, which identifies synchronization times across inference devices as the culprit. Leveraging real world figures from GPU manufacturers, we highlight the increasing cost of this synchronization time with ever more powerful hardware. In response, we introduce Tensor Parallel Blocks, a naturally parallelized architecture. To maintain quality, we incorporate multiple enhancements, such as delayed inter-block communication, hybrid architecture, and different parallelism gateways, which mitigate potential degradation in model output.
We design and validate a dedicated training protocol tailored to this architecture and conduct a preliminary hyperparameter study on 150M models, proving hardware-tied architecture can achieve relevant results. Using insights from these trials, we establish a set of rules for scaling the model to larger size, theorizing a 4.2x speedup in decoding time compared to an equivalently sized LLaMA based model on the target inference platform.
This document describes the work done during the 6 month internship of Félix Wirth in the ROMA team, advised by Loris Marchal and in collaboration with Gael Delalleau from the Kog company.
Les grand modèles de textes utilisant des blocs de Transformers ont atteint des niveaux de qualité qui les rendent attractifs pour une large gamme d'applications, y compris celles exigeant des vitesses de génération plus rapides telles que la génération d'artefacts multimédias. Cependant, les techniques de parallélisme traditionnelles ont du mal à répondre à ces exigences de vitesse en raison de la structure intrinsèquement séquentielle des Transformers, qui limite l'exécution parallèle.
Nous proposons une modélisation simple de l'exécution parallèle de transformer, qui identifie les temps de synchronisation entre unités de calcul comme critiques. En nous appuyant sur des chiffres réels des fabricants de GPU, nous soulignons le coût croissant de ce temps de synchronisation avec un matériel toujours plus puissant. En réponse, nous introduisons Tensor Parallel Blocks, une architecture naturellement parallélisée. Pour maintenir la qualité, nous incorporons plusieurs améliorations, telles que la communication inter-blocs retardée, l'architecture hybride et différentes passerelles de parallélisme, qui atténuent la dégradation potentielle de la sortie du modèle.
Nous concevons et validons un protocole de formation dédié adapté à cette architecture et menons une étude préliminaire des hyper-paramètres sur 150M modèles, prouvant que l'architecture liée au matériel peut obtenir des résultats pertinents. En utilisant les informations issues de ces essais, nous établissons un ensemble de règles pour passer ce modèle à plus grande échelle, en prédisant accélération de 4,2 sur le temps de décodage par rapport à un modèle basé sur LLaMA de taille équivalente sur la plateforme d'inférence cible.
Ce document décrit le travail effectué pendant le stage de 6 mois de Félix Wirth dans l'équipe ROMA, encadré par Loris Marchal et en collaboration avec Gael Delalleau de la société Kog.
Domaines
Informatique [cs]Origine | Fichiers produits par l'(les) auteur(s) |
---|---|
licence |