Bien choisir son modèle et rester à jour sans perdre de temps

Ce que vous verrez dans cette leçon

1. Chaque benchmark mesure une chose, pas à quel point il est « intelligent »

   Un benchmark est un examen standardisé : avant de vous fier à un chiffre, regardez quelles tâches il contient et si elles ressemblent aux vôtres.

2. Contamination et saturation : quand l'examen ne sert plus

   Si les questions d'un test sont sur internet, elles peuvent finir dans l'entraînement et le modèle réussit de mémoire.

3. Les petites lignes : effort, tentatives et coût

   La même note change selon le niveau de raisonnement, les outils et le nombre de tentatives qu'on accorde au modèle.

4. Les arènes : des milliers de gens votent à l'aveugle

   Sur Arena (ex-LMArena), vous écrivez un prompt, deux modèles anonymes répondent et vous votez pour le meilleur ; des millions de votes donnent un classement.

5. Artificial Analysis : intelligence, prix et vitesse

   Artificial Analysis fait passer ses propres tests aux modèles et publie un indice à côté du coût par tâche et de la vitesse réelle.

6. Votre propre examen : vingt cas réels

   Le plus fiable est un mini jeu d'évaluation avec de vraies tâches de votre travail et ce que vous attendez de chacune.

7. Faites passer l'examen à plusieurs modèles à la fois

   Avec un outil d'évaluation, vous lancez les mêmes cas sur plusieurs modèles et comparez réussites, coût et temps.

8. Une routine hebdomadaire de 30 minutes

   Inutile de tout lire : un créneau fixe par semaine et un registre de décisions suffisent pour ne pas décrocher.

9. Résumé : choisissez avec des données, pas des gros titres

   Les classements servent à faire une liste courte ; c'est votre propre examen, avec des cas réels, qui décide.