Entrena tu propio modelo

Qué vas a ver en esta lección

1. Antes de entrenar: ¿de verdad lo necesitas?

   La mayoría de problemas se resuelven con un buen prompt, unos ejemplos o RAG; ajustar un modelo es el último paso, no el primero.

2. LoRA y QLoRA: entrenar solo una capa fina

   LoRA congela el modelo y entrena unas matrices pequeñas; QLoRA hace lo mismo con el modelo en 4 bits y cabe en una gráfica normal.

3. Unsloth, Axolotl y TRL: cuál usar

   Las tres son gratuitas y de código abierto; cambian en la comodidad y en para qué tamaño de proyecto están pensadas.

4. Los datos: cuántos ejemplos y de qué calidad

   Cien ejemplos buenos ya dan resultados; más de mil es lo ideal. Importa más la calidad y la variedad que la cantidad.

5. DPO: enseñar por preferencias

   Con DPO das al modelo pares de respuestas, una elegida y otra rechazada, y aprende a parecerse a la buena.

6. GRPO: aprender por refuerzo con premios

   GRPO genera varias respuestas a cada pregunta, las puntúa con una función de recompensa y refuerza las mejores.

7. Cuánto cuesta: tu gráfica o una alquilada

   Un ajuste QLoRA pequeño cabe en una gráfica de 16 GB o cuesta unos pocos dólares en la nube; el refuerzo largo es lo caro.

8. Evalúa antes de usarlo y luego despliégalo

   Un ajuste solo vale si gana, en tus casos reales, al modelo original con un buen prompt. Mídelo antes de ponerlo en producción.

9. Resumen: entrena solo cuando compense

   Prompt y RAG primero; si no basta, QLoRA con buenos datos, preferencias o refuerzo, y evalúa siempre frente al original.