Clusters : reliez plusieurs machines pour des modèles plus grands

Ce que vous verrez dans cette leçon

1. Pourquoi relier plusieurs machines

   Un modèle ne marche bien que s'il tient en entier en mémoire ; relier des machines additionne cette mémoire pour des modèles trop grands pour une seule.

2. Répartir les couches : plus de mémoire, pas de vitesse

   Avec le parallélisme par couches, ou pipeline, chaque machine garde une tranche du modèle et elles travaillent à tour de rôle.

3. Répartir les tenseurs : la vitesse s'additionne aussi

   Avec le parallélisme de tenseurs, chaque couche est découpée entre toutes les machines, qui calculent leur part en même temps et réunissent le résultat.

4. La connexion décide si vous gagnez en vitesse

   Pour répartir les couches, presque n'importe quel réseau suffit ; pour les tenseurs, il faut beaucoup de bande passante et surtout peu de latence.

5. exo : un cluster de Mac presque sans réglages

   exo trouve les machines de votre réseau, décide comment répartir le modèle et propose un tableau de bord et une API sur le port 52415.

6. llama.cpp RPC : mélangez les machines que vous avez

   Avec le mode RPC de llama.cpp, un PC avec carte NVIDIA, un Mac et un autre PC peuvent se partager les couches d'un même modèle.

7. vLLM : tenseurs dans le nœud, couches entre nœuds

   vLLM répartit un modèle entre plusieurs GPU avec --tensor-parallel-size et entre plusieurs serveurs avec --pipeline-parallel-size.

8. Quand ça vaut le coup et quand non

   Un cluster est rentable quand le modèle ne tient dans aucune machine que vous pouvez acheter ; s'il tient dans une, une seule machine est presque toujours mieux.

9. Résumé : les clusters pour l'IA locale

   Relier des machines additionne toujours la mémoire ; la vitesse ne s'additionne que si vous répartissez les tenseurs avec une connexion très rapide.