Entraînez votre propre modèle

Ce que vous verrez dans cette leçon

1. Avant d'entraîner : en avez-vous vraiment besoin ?

   La plupart des problèmes se règlent avec un bon prompt, quelques exemples ou du RAG ; ajuster un modèle est la dernière étape, pas la première.

2. LoRA et QLoRA : n'entraîner qu'une fine couche

   LoRA gèle le modèle et entraîne de petites matrices ; QLoRA fait de même avec le modèle en 4 bits et tient sur une carte graphique ordinaire.

3. Unsloth, Axolotl et TRL : lequel choisir

   Les trois sont gratuits et open source ; ils diffèrent par leur confort d'usage et la taille de projet visée.

4. Les données : combien d'exemples et de quelle qualité

   Cent bons exemples donnent déjà des résultats ; plus de mille, c'est l'idéal. La qualité et la variété comptent plus que la quantité.

5. DPO : apprendre par préférences

   Avec DPO, vous donnez au modèle des paires de réponses, l'une choisie et l'autre rejetée, et il apprend à ressembler à la bonne.

6. GRPO : apprendre par renforcement avec des récompenses

   GRPO génère plusieurs réponses à chaque question, les note avec une fonction de récompense et renforce les meilleures.

7. Combien ça coûte : votre carte ou une carte louée

   Un petit ajustement QLoRA tient sur une carte de 16 Go ou coûte quelques dollars dans le cloud ; c'est le renforcement long qui coûte cher.

8. Évaluez avant de l'utiliser, puis déployez-le

   Un ajustement ne vaut que s'il bat, sur vos cas réels, le modèle d'origine avec un bon prompt. Mesurez-le avant la mise en production.

9. Résumé : n'entraînez que si ça vaut le coup

   Prompt et RAG d'abord ; si ça ne suffit pas, QLoRA avec de bonnes données, préférences ou renforcement, et évaluez toujours face à l'original.