Quantification : comment faire tenir un grand modèle dans votre carte graphique

Ce que vous verrez dans cette leçon

1. Quantifier : stocker les nombres avec moins de détail

   Quantifier, c'est arrondir les poids du modèle pour qu'ils prennent moins de place : de 16 bits par nombre à 8, à 4 ou même moins.

2. Le calcul de base : paramètres × bits ÷ 8

   Multipliez les paramètres par les bits de chacun et divisez par 8 : le résultat, ce sont les octets qu'occupent les poids.

3. GGUF et Q4_K_M : comment lire le nom du fichier

   GGUF est le format de llama.cpp, Ollama et LM Studio ; le suffixe du nom indique combien de bits il utilise et comment il les répartit.

4. Quantifications dynamiques : plus de bits là où ça compte

   Unsloth n'arrondit pas tout pareil : il garde plus de bits sur les couches délicates et serre celles qui tiennent le coup, pour perdre moins de qualité.

5. FP8, NVFP4 et MXFP4 : les formats des cartes graphiques

   Ce sont des formats que la carte graphique calcule nativement ; vLLM et SGLang les utilisent, et beaucoup de modèles sortent déjà ainsi.

6. MLX : le format propre aux Mac

   Sur un Mac à puce M, MLX tire parti de la mémoire unifiée et va souvent plus vite que GGUF ; LM Studio l'utilise directement.

7. Le cache KV : ce que consomme la conversation

   En plus des poids, le modèle garde deux vecteurs pour chaque token lu ; avec des contextes longs, cela fait plusieurs gigas.

8. MoE : le total pour la mémoire, les actifs pour la vitesse

   Dans un modèle à mélange d'experts, tout doit tenir en mémoire, mais chaque token n'en lit qu'une partie : c'est pour ça qu'il va bien plus vite.

9. Résumé

   Calculez avant de télécharger : les poids selon les bits, plus le cache de la conversation, plus une marge.