Quantisierung: So passt ein großes Modell auf deine Grafikkarte

Das erwartet dich in dieser Lektion

1. Quantisieren: Zahlen mit weniger Detail speichern

   Quantisieren heißt, die Gewichte des Modells zu runden, damit sie weniger Platz brauchen: von 16 Bit pro Zahl auf 8, 4 oder noch weniger.

2. Die Grundrechnung: Parameter × Bit ÷ 8

   Multipliziere die Parameter mit ihren Bit und teile durch 8: Das Ergebnis sind die Bytes, die die Gewichte belegen.

3. GGUF und Q4_K_M: So liest du den Dateinamen

   GGUF ist das Format von llama.cpp, Ollama und LM Studio; das Suffix im Namen sagt dir, wie viele Bit es nutzt und wie es sie verteilt.

4. Dynamische Quantisierung: mehr Bit, wo es zählt

   Unsloth rundet nicht alles gleich: Empfindliche Schichten behalten mehr Bit, robuste werden stärker gepresst, so geht weniger Qualität verloren.

5. FP8, NVFP4 und MXFP4: die Formate der Grafikkarten

   Diese Formate rechnet die Grafikkarte selbst nativ; vLLM und SGLang nutzen sie, und viele Modelle erscheinen direkt so.

6. MLX: das eigene Format der Macs

   Auf einem Mac mit M-Chip nutzt MLX den gemeinsamen Speicher und ist oft schneller als GGUF; LM Studio nutzt es direkt.

7. Der KV-Cache: was das Gespräch verbraucht

   Neben den Gewichten speichert das Modell zwei Vektoren pro gelesenem Token; bei langem Kontext sind das mehrere Gigabyte.

8. MoE: gesamt für den Speicher, aktiv für das Tempo

   Bei einem Mixture-of-Experts-Modell muss alles in den Speicher, aber jeder Token liest nur einen Teil: Deshalb ist es viel schneller.

9. Zusammenfassung

   Rechne vor dem Herunterladen: Gewichte nach Bit, plus Cache für das Gespräch, plus Reserve.