Cluster: unisci più macchine per modelli più grandi

Cosa vedrai in questa lezione

1. Perché unire più macchine

   Un modello funziona bene solo se sta tutto in memoria; unire più macchine somma quella memoria per far girare modelli che non stanno in una sola.

2. Dividere i layer: somma memoria, non velocità

   Nel parallelismo per layer, o pipeline, ogni macchina tiene un tratto del modello e lavorano a turno, una dopo l'altra.

3. Dividere i tensori: somma anche la velocità

   Nel parallelismo dei tensori, ogni layer viene spezzato tra tutte le macchine, che calcolano la loro parte insieme e uniscono il risultato.

4. La connessione decide se guadagni velocità

   Per dividere i layer va bene quasi qualsiasi rete; per dividere i tensori servono molta banda e, soprattutto, poco ritardo.

5. exo: un cluster di Mac quasi senza configurare

   exo trova le macchine della tua rete, decide come dividere il modello e offre un pannello e un'API sulla porta 52415.

6. llama.cpp RPC: mescola le macchine che hai già

   Con la modalità RPC di llama.cpp, un PC con scheda NVIDIA, un Mac e un altro PC possono dividersi i layer di uno stesso modello.

7. vLLM: tensori nel nodo, layer tra i nodi

   vLLM divide un modello tra più GPU con --tensor-parallel-size e tra più server con --pipeline-parallel-size.

8. Quando ne vale la pena e quando no

   Un cluster conviene quando il modello non sta in nessuna macchina che puoi comprare; se sta in una, è quasi sempre meglio una sola macchina.

9. Riepilogo: cluster per l'IA locale

   Unire macchine somma sempre memoria; somma velocità solo se dividi i tensori e la connessione è molto veloce.