Le ultime novità in locale: Strata e TensorFold

Cosa vedrai in questa lezione

1. Il problema: il modello non sta nella scheda video

   La memoria della scheda video è veloce ma scarsa; RAM e SSD abbondano, ma sono molto più lenti. I nuovi trucchi giocano su questo.

2. Trucco 1: gli esperti più usati sulla scheda video

   In un modello MoE ogni token usa pochi esperti; se i più richiesti stanno sulla scheda video, il resto può aspettare nella RAM.

3. Trucco 2: decodifica speculativa

   Un piccolo aiutante indovina diversi token e il modello grande li verifica in una volta: se indovina, avanzi di più passi per uno.

4. Strata: un MoE da 125 miliardi su un PC da gaming

   Progetto aperto (MIT) che esegue Qwen3.8-Flash-Next con una scheda video da 12 GB, 32–64 GB di RAM e circa 80 GB liberi di SSD.

5. Strata: cosa è dimostrato e cosa no

   Funziona e ci sono prove indipendenti, ma è una versione 0.1 di un solo autore, con un unico modello e dati misurati da lui.

6. TensorFold: più veloce senza cambiare la risposta

   Motore aperto (Apache 2.0) per Mac e NVIDIA basato sulla decodifica speculativa che accetta solo ciò che il modello scriverebbe comunque.

7. TensorFold: le clausole in piccolo

   Brilla con una sola persona; con molte richieste insieme, un server classico come vLLM lo stacca di molto.

8. Alternative collaudate e come provare senza rischi

   Prima di un progetto di settimane, guarda cosa funziona già nei motori maturi e prova le novità a parte, con le tue domande.

9. Riepilogo

   La novità in locale è tenere a portata di mano ciò che si legge a ogni token e indovinare più token insieme; provalo prima di fidarti.