Comment un modèle d'IA réfléchit (et se trompe)

Ce que vous verrez dans cette leçon

1. De votre question à sa réponse, token par token

   Un modèle de langage ne cherche la réponse nulle part : il l'écrit morceau par morceau, en prédisant ce qui vient ensuite.

2. Les tokens : les briques Lego du langage

   Le modèle ne lit ni des lettres ni des mots entiers, mais des tokens : des morceaux de texte fréquents qui s'emboîtent comme des briques.

3. Une saisie prédictive de téléphone, mais géante

   Pour chaque trou, le modèle calcule la probabilité de milliers de tokens possibles et choisit l'un des plus probables.

4. Entraîner et inférer : réviser ou passer l'examen

   Le modèle apprend une seule fois, pendant des mois ; chaque fois que vous l'interrogez, il applique ce qu'il a appris. C'est l'inférence.

5. La fenêtre de contexte : son bureau de travail

   C'est tout ce que le modèle a devant lui quand il répond. Ce qui n'est pas sur le bureau n'existe pas pour lui.

6. La température : la pincée de sel de la créativité

   Elle règle à quel point le modèle prend des risques en choisissant le token suivant : basse, le plus probable ; haute, des choix plus variés.

7. Modèles de raisonnement : ils réfléchissent avant de parler

   Avant de répondre, ils écrivent un brouillon interne de raisonnement, et résolvent ainsi mieux les problèmes en plusieurs étapes.

8. Pourquoi il invente avec autant d'aplomb

   Une hallucination, c'est une donnée fausse affirmée avec conviction. Ce n'est pas un bug rare : elle vient de la façon dont il apprend et dont on l'évalue.

9. Résumé : comment il pense et pourquoi il se trompe

   Un modèle est un prédicteur de tokens très bien entraîné : comprendre son fonctionnement vous aide à mieux lui demander et à vous méfier à temps.