Treine o seu próprio modelo

O que vais ver nesta lição

1. Antes de treinar: precisa mesmo disso?

   A maioria dos problemas resolve-se com um bom prompt, alguns exemplos ou RAG; ajustar um modelo é o último passo, não o primeiro.

2. LoRA e QLoRA: treinar só uma camada fina

   O LoRA congela o modelo e treina umas matrizes pequenas; o QLoRA faz o mesmo com o modelo em 4 bits e cabe numa placa gráfica normal.

3. Unsloth, Axolotl e TRL: qual usar

   As três são gratuitas e de código aberto; diferem na comodidade e no tamanho de projeto para que foram pensadas.

4. Os dados: quantos exemplos e de que qualidade

   Cem exemplos bons já dão resultados; mais de mil é o ideal. A qualidade e a variedade importam mais do que a quantidade.

5. DPO: ensinar por preferências

   Com DPO dá ao modelo pares de respostas, uma escolhida e outra rejeitada, e ele aprende a parecer-se com a boa.

6. GRPO: aprender por reforço com prémios

   O GRPO gera várias respostas a cada pergunta, pontua-as com uma função de recompensa e reforça as melhores.

7. Quanto custa: a sua placa gráfica ou uma alugada

   Um ajuste QLoRA pequeno cabe numa placa gráfica de 16 GB ou custa poucos dólares na nuvem; o reforço longo é o que sai caro.

8. Avalie antes de usar e depois implemente

   Um ajuste só vale se ganhar, nos seus casos reais, ao modelo original com um bom prompt. Meça-o antes de o pôr em produção.

9. Resumo: treine só quando compensar

   Prompt e RAG primeiro; se não bastar, QLoRA com bons dados, preferências ou reforço, e avalie sempre face ao original.