Escolha bem o modelo e mantenha-se atualizado sem perder tempo

O que vais ver nesta lição

1. Cada benchmark mede uma coisa, não o quão «esperto» é

   Um benchmark é um exame padronizado: antes de confiar num número, veja que tarefas contém e se se parecem com as suas.

2. Contaminação e saturação: quando o exame já não serve

   Se as perguntas de um teste estão na internet, podem acabar no treino e o modelo passa de memória.

3. As letras pequenas: esforço, tentativas e custo

   A mesma nota muda consoante o nível de raciocínio, as ferramentas e as tentativas que se permitem ao modelo.

4. Arenas: milhares de pessoas a votar às cegas

   No Arena (antes LMArena) escreve um prompt, dois modelos anónimos respondem e vota no melhor; com milhões de votos sai uma classificação.

5. Artificial Analysis: inteligência, preço e velocidade

   A Artificial Analysis aplica as suas próprias provas aos modelos e publica um índice junto com o custo por tarefa e a velocidade real.

6. O seu próprio exame: vinte casos reais

   O mais fiável é um mini conjunto de avaliação com tarefas reais do seu trabalho e o que espera de cada uma.

7. Passe o exame a vários modelos ao mesmo tempo

   Com uma ferramenta de avaliação lança os mesmos casos contra vários modelos e compara acertos, custo e tempo.

8. Uma rotina semanal de 30 minutos

   Não é preciso ler tudo: um espaço fixo por semana e um registo de decisões bastam para não ficar para trás.

9. Resumo: escolha com dados, não com títulos

   Os rankings servem para fazer uma lista curta; a decisão é tomada pelo seu próprio exame com casos reais.