Quantização: como meter um modelo grande na sua placa gráfica

O que vais ver nesta lição

1. Quantizar: guardar os números com menos detalhe

   Quantizar é arredondar os pesos do modelo para ocuparem menos: de 16 bits por número para 8, 4 ou até menos.

2. A conta básica: parâmetros × bits ÷ 8

   Multiplique os parâmetros pelos bits de cada um e divida por 8: o resultado são os bytes que os pesos ocupam.

3. GGUF e Q4_K_M: como ler o nome do ficheiro

   GGUF é o formato do llama.cpp, Ollama e LM Studio; o sufixo do nome diz-lhe quantos bits usa e como os distribui.

4. Quantizações dinâmicas: mais bits onde importa

   A Unsloth não arredonda tudo igual: deixa com mais bits as camadas delicadas e aperta as que aguentam, para perder menos qualidade.

5. FP8, NVFP4 e MXFP4: os formatos das placas gráficas

   São formatos que a própria placa gráfica calcula de forma nativa; usam-nos o vLLM e o SGLang, e muitos modelos já saem assim de fábrica.

6. MLX: o formato próprio dos Mac

   Num Mac com chip M, o MLX aproveita a memória unificada e muitas vezes é mais rápido do que o GGUF; o LM Studio usa-o diretamente.

7. A cache KV: o que a conversa gasta

   Além dos pesos, o modelo guarda dois vetores por cada token lido; com contextos longos são vários gigas.

8. MoE: totais para a memória, ativos para a velocidade

   Num modelo de mistura de especialistas tem de caber tudo, mas cada token só lê uma parte: por isso é muito mais rápido.

9. Resumo

   Calcule antes de descarregar: pesos conforme os bits, mais a cache da conversa, mais uma margem.