Trainiere dein eigenes Modell

Das erwartet dich in dieser Lektion

1. Vor dem Training: Brauchst du es wirklich?

   Die meisten Probleme lassen sich mit einem guten Prompt, ein paar Beispielen oder RAG lösen; ein Modell anzupassen ist der letzte Schritt, nicht der erste.

2. LoRA und QLoRA: nur eine dünne Schicht trainieren

   LoRA friert das Modell ein und trainiert kleine Matrizen; QLoRA macht dasselbe mit dem Modell in 4 Bit und passt auf eine normale Grafikkarte.

3. Unsloth, Axolotl und TRL: welches nehmen

   Alle drei sind kostenlos und Open Source; sie unterscheiden sich im Komfort und darin, für welche Projektgröße sie gedacht sind.

4. Die Daten: wie viele Beispiele und welche Qualität

   Hundert gute Beispiele bringen schon Ergebnisse; über tausend sind ideal. Qualität und Vielfalt zählen mehr als Menge.

5. DPO: über Präferenzen lehren

   Bei DPO gibst du dem Modell Antwortpaare, eine gewählte und eine abgelehnte, und es lernt, der guten zu ähneln.

6. GRPO: Reinforcement Learning mit Belohnungen

   GRPO erzeugt mehrere Antworten pro Frage, bewertet sie mit einer Belohnungsfunktion und verstärkt die besten.

7. Was es kostet: eigene oder gemietete GPU

   Ein kleines QLoRA-Fine-Tuning passt auf eine 16-GB-Grafikkarte oder kostet ein paar Dollar in der Cloud; teuer ist langes Reinforcement.

8. Evaluiere vor dem Einsatz, dann deploye

   Ein Fine-Tuning taugt nur, wenn es in deinen echten Fällen das Originalmodell mit gutem Prompt schlägt. Miss es vor dem Produktiveinsatz.

9. Zusammenfassung: nur trainieren, wenn es sich lohnt

   Erst Prompt und RAG; reicht das nicht, QLoRA mit guten Daten, Präferenzen oder Reinforcement, und immer gegen das Original evaluieren.