Das richtige Modell wählen und auf dem Laufenden bleiben, ohne Zeit zu verlieren

Das erwartet dich in dieser Lektion

1. Jeder Benchmark misst eine Sache, nicht wie «schlau» ein Modell ist

   Ein Benchmark ist eine standardisierte Prüfung: Bevor du einer Zahl traust, sieh nach, welche Aufgaben sie enthält und ob sie deinen ähneln.

2. Kontamination und Sättigung: wenn die Prüfung nichts mehr taugt

   Stehen die Fragen eines Tests im Internet, können sie ins Training gelangen, und das Modell besteht auswendig.

3. Das Kleingedruckte: Aufwand, Versuche und Kosten

   Dieselbe Note ändert sich je nach Denkstufe, Werkzeugen und Versuchen, die man dem Modell erlaubt.

4. Arenen: Tausende Menschen stimmen blind ab

   In Arena (früher LMArena) schreibst du einen Prompt, zwei anonyme Modelle antworten und du wählst das bessere; aus Millionen Stimmen entsteht eine Rangliste.

5. Artificial Analysis: Intelligenz, Preis und Tempo

   Artificial Analysis lässt die Modelle eigene Tests durchlaufen und veröffentlicht einen Index samt Kosten pro Aufgabe und echtem Tempo.

6. Deine eigene Prüfung: zwanzig echte Fälle

   Am verlässlichsten ist ein kleines Evaluierungsset mit echten Aufgaben aus deiner Arbeit und dem, was du von jeder erwartest.

7. Lass mehrere Modelle gleichzeitig die Prüfung ablegen

   Mit einem Evaluierungstool schickst du dieselben Fälle an mehrere Modelle und vergleichst Treffer, Kosten und Zeit.

8. Eine wöchentliche Routine von 30 Minuten

   Du musst nicht alles lesen: ein fester Termin pro Woche und ein Entscheidungsprotokoll reichen, um nicht abgehängt zu werden.

9. Zusammenfassung: mit Daten wählen, nicht mit Schlagzeilen

   Rankings helfen dir, eine Shortlist zu erstellen; die Entscheidung trifft deine eigene Prüfung mit echten Fällen.