Welche Hardware du brauchst: Minimum, Empfehlung und Oberklasse

Das erwartet dich in dieser Lektion

1. Zwei Zahlen entscheiden: wie viel Speicher und wie schnell

   Der Speicher entscheidet, welches Modell passt; seine Bandbreite, wie viele Tokens pro Sekunde es schreibt. Der Prozessor zählt viel weniger.

2. Minimum: eine Grafikkarte mit 8 oder 12 GB

   Mit 8 GB laufen Modelle mit etwa 4 bis 8 Milliarden Parametern bei 4 Bit; mit 12 GB passen schon Modelle mit etwa 12 Milliarden.

3. Empfehlung für den Einstieg: 16 GB für etwa 500 €

   Die RTX 5060 Ti mit 16 GB ist der vernünftigste Kauf für lokale KI: mehr Speicher als die 5070 und deutlich günstiger.

4. 24 und 32 GB: gebrauchte RTX 3090 oder RTX 5090

   Mit 24–32 GB passt Qwen3.8-27B bei 4 Bit mit langem Kontext: der Sweet Spot an Qualität, der zu Hause läuft.

5. Maximum im PC: RTX PRO 6000 mit 96 GB

   Die Profikarte von NVIDIA hat 96 GB und die Bandbreite einer 5090: Modelle mit 120 Milliarden Parametern komplett in der Grafikkarte.

6. 128 GB geteilt: DGX Spark und Strix Halo

   Mini-PCs mit 128 GB Unified Memory: MoE mit über 100 Milliarden passen, lesen aber nur mit etwa 256–273 GB/s.

7. Mac Studio mit M5 Max oder M5 Ultra: schneller Speicher

   Die Chips M5 Max und M5 Ultra lesen mit 614 und 1.228 GB/s: Der Ultra kommt einer RTX 5090 nahe, aber mit viel mehr möglichem Speicher.

8. Was du je nach gewünschtem Modell kaufst

   Fang mit dem Modell an, das du brauchst, und wähle den Speicher; der Rest des Geräts ergibt sich fast von selbst.

9. Zusammenfassung

   Wähle zuerst das Modell, berechne seinen Speicher und kauf das Gerät, das ihn mit der nötigen Bandbreite bietet.