Elige bien el modelo y mantente al día sin perder tiempo

Qué vas a ver en esta lección

1. Cada benchmark mide una cosa, no lo «listo» que es

   Un benchmark es un examen estandarizado: antes de fiarte de una cifra, mira qué tareas contiene y si se parecen a las tuyas.

2. Contaminación y saturación: cuando el examen ya no sirve

   Si las preguntas de un test están en internet, pueden acabar en el entrenamiento y el modelo aprueba de memoria.

3. La letra pequeña: esfuerzo, intentos y coste

   La misma nota cambia según el nivel de razonamiento, las herramientas y los intentos que se le permitan al modelo.

4. Arenas: miles de personas votando a ciegas

   En Arena (antes LMArena) escribes un prompt, dos modelos anónimos responden y votas el mejor; con millones de votos sale una clasificación.

5. Artificial Analysis: inteligencia, precio y velocidad

   Artificial Analysis pasa sus propias pruebas a los modelos y publica un índice junto al coste por tarea y la velocidad real.

6. Tu propio examen: veinte casos reales

   Lo más fiable es un mini conjunto de evaluación con tareas reales de tu trabajo y lo que esperas de cada una.

7. Pasa el examen a varios modelos a la vez

   Con una herramienta de evaluación lanzas los mismos casos contra varios modelos y comparas aciertos, coste y tiempo.

8. Una rutina semanal de 30 minutos

   No hace falta leerlo todo: un hueco fijo a la semana y un registro de decisiones bastan para no quedarte atrás.

9. Resumen: elige con datos, no con titulares

   Los rankings sirven para hacer una lista corta; la decisión la toma tu propio examen con casos reales.