Lo último en local: Strata y TensorFold

Qué vas a ver en esta lección

1. El problema: el modelo no cabe en la gráfica

   La memoria de la gráfica es rápida pero escasa; la RAM y el SSD sobran, pero son mucho más lentos. Los trucos nuevos juegan con eso.

2. Truco 1: los expertos más usados, en la gráfica

   En un modelo MoE cada token usa unos pocos expertos; si los más pedidos viven en la gráfica, el resto puede esperar en la RAM.

3. Truco 2: decodificación especulativa

   Un ayudante pequeño adivina varios tokens y el modelo grande los comprueba de una vez: si acierta, avanzas varios pasos por uno.

4. Strata: un MoE de 125.000 millones en un PC gamer

   Proyecto abierto (MIT) que ejecuta Qwen3.8-Flash-Next con una gráfica de 12 GB, 32–64 GB de RAM y unos 80 GB libres de SSD.

5. Strata: qué está demostrado y qué no

   Funciona y hay pruebas independientes, pero es una versión 0.1 de un solo autor, con un único modelo y cifras medidas por él.

6. TensorFold: más rápido sin cambiar la respuesta

   Motor abierto (Apache 2.0) para Mac y NVIDIA basado en decodificación especulativa que solo acepta lo que el modelo escribiría igual.

7. TensorFold: la letra pequeña

   Brilla con una sola persona; con muchas peticiones a la vez, un servidor clásico como vLLM le saca mucha ventaja.

8. Alternativas probadas y cómo probar sin riesgo

   Antes de un proyecto de semanas, mira lo que ya funciona en motores maduros y prueba lo nuevo aparte, con tus propias preguntas.

9. Resumen

   Lo nuevo en local consiste en tener a mano lo que se lee en cada token y adivinar varios tokens a la vez; pruébalo antes de confiar.