Como pensa (e se engana) um modelo de IA

O que vais ver nesta lição

1. Da sua pergunta à resposta, token a token

   Um modelo de linguagem não procura a resposta em lado nenhum: escreve-a pedaço a pedaço, prevendo o que vem a seguir.

2. Tokens: as peças de Lego da linguagem

   O modelo não lê letras nem palavras inteiras, mas sim tokens: pedaços frequentes de texto que encaixam como peças.

3. Um autocompletar do telemóvel, mas gigante

   Para cada espaço, o modelo calcula a probabilidade de milhares de tokens possíveis e escolhe um dos mais prováveis.

4. Treinar e inferir: estudar face a fazer o exame

   O modelo aprende uma vez, durante meses; sempre que lhe pergunta só aplica o que aprendeu. Isso é a inferência.

5. A janela de contexto: a sua mesa de trabalho

   É tudo o que o modelo tem à frente ao responder. O que não está na mesa, para ele não existe.

6. Temperatura: a pitada de sal da criatividade

   Regula quanto o modelo arrisca ao escolher o token seguinte: baixa, o mais provável; alta, opções mais variadas.

7. Modelos de raciocínio: pensam antes de falar

   Antes de responder escrevem um rascunho interno de raciocínio, e assim resolvem melhor os problemas de vários passos.

8. Porque inventa coisas com tanta segurança

   Uma alucinação é um dado falso dito com convicção. Não é uma falha rara: resulta de como aprende e de como é avaliado.

9. Resumo: como pensa e porque se engana

   Um modelo é um preditor de tokens muito bem treinado: perceber como funciona ajuda-o a pedir melhor e a desconfiar a tempo.