Addestra il tuo modello

Cosa vedrai in questa lezione

1. Prima di addestrare: ti serve davvero?

   La maggior parte dei problemi si risolve con un buon prompt, qualche esempio o RAG; fare il fine-tuning di un modello è l'ultimo passo, non il primo.

2. LoRA e QLoRA: addestrare solo uno strato sottile

   LoRA congela il modello e addestra alcune piccole matrici; QLoRA fa lo stesso con il modello a 4 bit e sta in una scheda grafica normale.

3. Unsloth, Axolotl e TRL: quale usare

   Sono tutti e tre gratuiti e open source; cambiano per comodità e per la dimensione di progetto a cui sono pensati.

4. I dati: quanti esempi e di che qualità

   Cento esempi buoni danno già risultati; più di mille è l'ideale. Contano più la qualità e la varietà che la quantità.

5. DPO: insegnare con le preferenze

   Con DPO dai al modello coppie di risposte, una scelta e una scartata, e impara ad assomigliare a quella buona.

6. GRPO: imparare per rinforzo con premi

   GRPO genera diverse risposte a ogni domanda, le valuta con una funzione di ricompensa e rinforza le migliori.

7. Quanto costa: la tua scheda grafica o una a noleggio

   Un piccolo fine-tuning QLoRA sta in una scheda grafica da 16 GB o costa pochi dollari nel cloud; è il rinforzo lungo a costare.

8. Valuta prima di usarlo e poi mettilo in produzione

   Un fine-tuning vale solo se batte, nei tuoi casi reali, il modello originale con un buon prompt. Misuralo prima di metterlo in produzione.

9. Riepilogo: addestra solo quando conviene

   Prima prompt e RAG; se non basta, QLoRA con buoni dati, preferenze o rinforzo, e valuta sempre rispetto all'originale.