Wie ein KI-Modell denkt (und sich irrt)

Das erwartet dich in dieser Lektion

1. Von deiner Frage zu seiner Antwort, Token für Token

   Ein Sprachmodell sucht die Antwort nirgendwo: Es schreibt sie Stück für Stück und sagt voraus, was als Nächstes kommt.

2. Tokens: die Legosteine der Sprache

   Das Modell liest keine Buchstaben und keine ganzen Wörter, sondern Tokens: häufige Textstücke, die wie Bausteine passen.

3. Wie die Autovervollständigung am Handy, nur riesig

   Für jede Lücke berechnet das Modell die Wahrscheinlichkeit Tausender möglicher Tokens und wählt eines der wahrscheinlichsten.

4. Training und Inferenz: lernen und Prüfung schreiben

   Das Modell lernt einmal, über Monate; bei jeder Frage wendet es nur das Gelernte an. Das ist die Inferenz.

5. Das Kontextfenster: sein Arbeitstisch

   Das ist alles, was das Modell beim Antworten vor sich hat. Was nicht auf dem Tisch liegt, existiert für es nicht.

6. Temperatur: die Prise Salz der Kreativität

   Sie regelt, wie viel das Modell bei der Wahl des nächsten Tokens riskiert: niedrig das Wahrscheinlichste, hoch mehr Abwechslung.

7. Reasoning-Modelle: erst denken, dann reden

   Vor der Antwort schreiben sie einen internen Denkentwurf und lösen so Probleme mit mehreren Schritten besser.

8. Warum es Dinge so selbstsicher erfindet

   Eine Halluzination ist eine falsche Angabe, überzeugt vorgetragen. Kein seltener Fehler: Sie folgt daraus, wie es lernt und bewertet wird.

9. Zusammenfassung: wie es denkt und warum es irrt

   Ein Modell ist ein sehr gut trainierter Token-Vorhersager: Zu verstehen, wie es funktioniert, hilft dir, besser zu fragen und rechtzeitig skeptisch zu sein.