Les dernières nouveautés en local : Strata et TensorFold

Ce que vous verrez dans cette leçon

1. Le problème : le modèle ne tient pas sur la carte graphique

   La mémoire de la carte graphique est rapide mais rare ; la RAM et le SSD sont abondants, mais bien plus lents. Les nouvelles astuces jouent là-dessus.

2. Astuce 1 : les experts les plus utilisés sur la carte graphique

   Dans un modèle MoE, chaque token utilise quelques experts ; si les plus demandés vivent sur la carte graphique, le reste peut attendre en RAM.

3. Astuce 2 : le décodage spéculatif

   Un petit assistant devine plusieurs tokens et le grand modèle les vérifie d'un coup : s'il a vu juste, vous avancez de plusieurs pas pour un.

4. Strata : un MoE de 125 milliards sur un PC gamer

   Projet ouvert (MIT) qui fait tourner Qwen3.8-Flash-Next avec une carte de 12 Go, 32–64 Go de RAM et environ 80 Go libres sur le SSD.

5. Strata : ce qui est prouvé et ce qui ne l'est pas

   Il fonctionne et des tests indépendants existent, mais c'est une version 0.1 d'un seul auteur, avec un seul modèle et des chiffres mesurés par lui.

6. TensorFold : plus rapide sans changer la réponse

   Moteur ouvert (Apache 2.0) pour Mac et NVIDIA basé sur le décodage spéculatif, qui n'accepte que ce que le modèle écrirait de toute façon.

7. TensorFold : les petites lignes

   Il brille avec une seule personne ; avec beaucoup de requêtes à la fois, un serveur classique comme vLLM le devance largement.

8. Alternatives éprouvées et comment tester sans risque

   Avant un projet de plusieurs semaines, regardez ce qui marche déjà dans des moteurs matures et testez la nouveauté à part, avec vos propres questions.

9. Résumé

   La nouveauté en local : garder sous la main ce qui est lu à chaque token et deviner plusieurs tokens à la fois ; testez avant de faire confiance.