Cuantización: cómo meter un modelo grande en tu tarjeta gráfica

Qué vas a ver en esta lección

1. Cuantizar: guardar los números con menos detalle

   Cuantizar es redondear los pesos del modelo para que ocupen menos: de 16 bits por número a 8, a 4 o incluso menos.

2. La cuenta básica: parámetros × bits ÷ 8

   Multiplica los parámetros por los bits de cada uno y divide entre 8: el resultado son los bytes que ocupan los pesos.

3. GGUF y Q4_K_M: cómo leer el nombre del fichero

   GGUF es el formato de llama.cpp, Ollama y LM Studio; el sufijo del nombre te dice cuántos bits usa y cómo los reparte.

4. Cuantizaciones dinámicas: más bits donde importa

   Unsloth no redondea todo igual: deja con más bits las capas delicadas y aprieta las que aguantan, para perder menos calidad.

5. FP8, NVFP4 y MXFP4: los formatos de las gráficas

   Son formatos que la propia gráfica calcula de forma nativa; los usan vLLM y SGLang, y muchos modelos ya salen así de fábrica.

6. MLX: el formato propio de los Mac

   En un Mac con chip M, MLX aprovecha la memoria unificada y a menudo va más rápido que GGUF; LM Studio lo usa directamente.

7. La caché KV: lo que gasta la conversación

   Además de los pesos, el modelo guarda dos vectores por cada token leído; con contextos largos son varios gigas.

8. MoE: totales para la memoria, activos para la velocidad

   En un modelo de mezcla de expertos tiene que caber todo, pero cada token solo lee una parte: por eso va mucho más rápido.

9. Resumen

   Calcula antes de descargar: pesos según los bits, más la caché de la conversación, más un margen.