Scegli bene il modello e resta aggiornato senza perdere tempo

Cosa vedrai in questa lezione

1. Ogni benchmark misura una cosa, non quanto è «intelligente»

   Un benchmark è un esame standardizzato: prima di fidarti di un numero, guarda quali compiti contiene e se somigliano ai tuoi.

2. Contaminazione e saturazione: quando l'esame non serve più

   Se le domande di un test sono su internet, possono finire nell'addestramento e il modello passa a memoria.

3. Le clausole in piccolo: sforzo, tentativi e costo

   Lo stesso voto cambia in base al livello di ragionamento, agli strumenti e ai tentativi concessi al modello.

4. Arene: migliaia di persone che votano alla cieca

   Su Arena (ex LMArena) scrivi un prompt, due modelli anonimi rispondono e voti il migliore; con milioni di voti nasce una classifica.

5. Artificial Analysis: intelligenza, prezzo e velocità

   Artificial Analysis sottopone i modelli ai propri test e pubblica un indice insieme al costo per compito e alla velocità reale.

6. Il tuo esame: venti casi reali

   La cosa più affidabile è un mini set di valutazione con compiti reali del tuo lavoro e ciò che ti aspetti da ognuno.

7. Sottoponi l'esame a più modelli insieme

   Con uno strumento di valutazione lanci gli stessi casi su più modelli e confronti risposte giuste, costo e tempo.

8. Una routine settimanale di 30 minuti

   Non serve leggere tutto: uno spazio fisso alla settimana e un registro delle decisioni bastano per non restare indietro.

9. Riepilogo: scegli con i dati, non con i titoli

   Le classifiche servono a fare una lista breve; la decisione la prende il tuo esame con casi reali.