Quantizzazione: come far stare un modello grande nella tua scheda video

Cosa vedrai in questa lezione

1. Quantizzare: salvare i numeri con meno dettaglio

   Quantizzare significa arrotondare i pesi del modello perché occupino meno: da 16 bit per numero a 8, a 4 o anche meno.

2. Il calcolo base: parametri × bit ÷ 8

   Moltiplica i parametri per i bit di ciascuno e dividi per 8: il risultato sono i byte che occupano i pesi.

3. GGUF e Q4_K_M: come leggere il nome del file

   GGUF è il formato di llama.cpp, Ollama e LM Studio; il suffisso del nome ti dice quanti bit usa e come li distribuisce.

4. Quantizzazioni dinamiche: più bit dove conta

   Unsloth non arrotonda tutto allo stesso modo: lascia più bit agli strati delicati e stringe quelli che reggono, per perdere meno qualità.

5. FP8, NVFP4 e MXFP4: i formati delle schede video

   Sono formati che la scheda video calcola in modo nativo; li usano vLLM e SGLang, e molti modelli escono già così di fabbrica.

6. MLX: il formato dei Mac

   Su un Mac con chip M, MLX sfrutta la memoria unificata e spesso va più veloce di GGUF; LM Studio lo usa direttamente.

7. La cache KV: quanto consuma la conversazione

   Oltre ai pesi, il modello conserva due vettori per ogni token letto; con contesti lunghi sono parecchi giga.

8. MoE: totali per la memoria, attivi per la velocità

   In un modello a miscela di esperti deve starci tutto, ma ogni token legge solo una parte: per questo va molto più veloce.

9. Riepilogo

   Calcola prima di scaricare: pesi in base ai bit, più la cache della conversazione, più un margine.