Ollama, LM Studio, llama.cpp oder vLLM: Welche Engine nutzen

Das erwartet dich in dieser Lektion

1. Was eine lokale Engine macht

   Die Engine lädt das Modell in den Speicher, erzeugt den Text und stellt ihn deinen Programmen bereit; das Modell bleibt gleich, nur die Ausführung ändert sich.

2. Ollama: ein Befehl und es läuft

   Der schnellste Einstieg unter Windows, Mac oder Linux: Du wählst ein Modell aus dem Katalog und führst es aus.

3. LM Studio: alles mit Fenstern, und MLX auf dem Mac

   Eine App, um Modelle von Hugging Face per Maus zu suchen, herunterzuladen und zu testen, auch für Firmen kostenlos.

4. llama.cpp: die Engine für alle, die Kontrolle wollen

   Viele Tools bauen auf seinem Code auf; nutzt du es direkt, bestimmst du jede Einstellung und bekommst neue Modelle meist früher.

5. Gleicher Code, anderer Server: die OpenAI-API

   Alle diese Engines imitieren die OpenAI-API: Du änderst die Basisadresse, und deine Skripte, n8n oder Apps laufen mit dem lokalen Modell.

6. vLLM und SGLang: wenn das Modell fürs ganze Team ist

   Sie sind dafür gebaut, viele Anfragen gleichzeitig auf NVIDIA- oder AMD-Karten zu bedienen, mit viel mehr Gesamtleistung als Ollama.

7. Riesige MoE mit einer Grafikkarte: Experten in den RAM

   Lass Attention und Cache, die bei jedem Token gebraucht werden, auf der Grafikkarte und schick die Experten, die am meisten wiegen, in den RAM.

8. Welche du je nach Fall wählst

   Fang einfach an und wechsle die Engine erst, wenn du an eine konkrete Grenze stößt.

9. Zusammenfassung

   Das Modell ist dasselbe; die Engine entscheidet über Bequemlichkeit, Tempo und wie viele Personen sie bedienen kann.