Cluster: mehrere Rechner verbinden für größere Modelle

Das erwartet dich in dieser Lektion

1. Warum mehrere Geräte verbinden

   Ein Modell läuft nur gut, wenn es ganz in den Speicher passt; verbundene Geräte addieren ihren Speicher für Modelle, die in eines nicht passen.

2. Schichten verteilen: mehr Speicher, nicht mehr Tempo

   Bei der Parallelisierung nach Schichten, der Pipeline, speichert jedes Gerät einen Abschnitt des Modells, und sie arbeiten nacheinander.

3. Tensoren verteilen: addiert auch das Tempo

   Bei der Tensor-Parallelisierung wird jede Schicht auf alle Geräte aufgeteilt; sie rechnen ihren Teil gleichzeitig und führen das Ergebnis zusammen.

4. Die Verbindung entscheidet, ob du Tempo gewinnst

   Zum Verteilen von Schichten taugt fast jedes Netzwerk; für Tensoren brauchst du viel Bandbreite und vor allem wenig Latenz.

5. exo: ein Mac-Cluster fast ohne Konfiguration

   exo findet die Geräte in deinem Netzwerk, entscheidet, wie das Modell verteilt wird, und bietet ein Dashboard und eine API auf Port 52415.

6. llama.cpp RPC: kombiniere die Geräte, die du schon hast

   Mit dem RPC-Modus von llama.cpp können sich ein PC mit NVIDIA-Grafikkarte, ein Mac und ein weiterer PC die Schichten eines Modells teilen.

7. vLLM: Tensoren im Knoten, Schichten zwischen Knoten

   vLLM verteilt ein Modell mit --tensor-parallel-size auf mehrere GPUs und mit --pipeline-parallel-size auf mehrere Server.

8. Wann es sich lohnt und wann nicht

   Ein Cluster lohnt sich, wenn das Modell in kein Gerät passt, das du kaufen kannst; passt es in eines, ist ein einzelnes Gerät fast immer besser.

9. Zusammenfassung: Cluster für lokale KI

   Geräte verbinden addiert immer den Speicher; das Tempo nur, wenn du Tensoren verteilst und die Verbindung sehr schnell ist.