Das Neueste für lokal: Strata und TensorFold

Das erwartet dich in dieser Lektion

1. Das Problem: Das Modell passt nicht in die Grafikkarte

   Grafikspeicher ist schnell, aber knapp; RAM und SSD gibt es reichlich, aber sie sind viel langsamer. Die neuen Tricks spielen damit.

2. Trick 1: die meistgenutzten Experten auf die Grafikkarte

   In einem MoE-Modell nutzt jeder Token nur wenige Experten; liegen die gefragtesten auf der Grafikkarte, kann der Rest im RAM warten.

3. Trick 2: spekulatives Dekodieren

   Ein kleiner Helfer errät mehrere Tokens, und das große Modell prüft sie auf einmal: Trifft er, kommst du mehrere Schritte für einen voran.

4. Strata: ein MoE mit 125 Milliarden auf einem Gaming-PC

   Offenes Projekt (MIT), das Qwen3.8-Flash-Next mit einer 12-GB-Grafikkarte, 32–64 GB RAM und etwa 80 GB freier SSD ausführt.

5. Strata: was bewiesen ist und was nicht

   Es funktioniert und es gibt unabhängige Tests, aber es ist eine Version 0.1 von einem einzigen Autor, mit nur einem Modell und selbst gemessenen Zahlen.

6. TensorFold: schneller, ohne die Antwort zu ändern

   Offene Engine (Apache 2.0) für Mac und NVIDIA auf Basis von spekulativem Dekodieren, die nur akzeptiert, was das Modell genauso schreiben würde.

7. TensorFold: das Kleingedruckte

   Es glänzt bei einer einzelnen Person; bei vielen gleichzeitigen Anfragen hängt ein klassischer Server wie vLLM es deutlich ab.

8. Erprobte Alternativen und risikofreies Testen

   Bevor du ein wochenlanges Projekt startest, schau, was in ausgereiften Engines schon läuft, und teste Neues separat mit deinen eigenen Fragen.

9. Zusammenfassung

   Das Neue lokal heißt: griffbereit halten, was pro Token gelesen wird, und mehrere Tokens gleichzeitig raten; teste es, bevor du ihm vertraust.