O mais recente em local: Strata e TensorFold

O que vais ver nesta lição

1. O problema: o modelo não cabe na placa gráfica

   A memória da placa gráfica é rápida mas escassa; a RAM e o SSD sobram, mas são muito mais lentos. Os truques novos jogam com isso.

2. Truque 1: os especialistas mais usados, na placa gráfica

   Num modelo MoE cada token usa alguns especialistas; se os mais pedidos viverem na placa gráfica, o resto pode esperar na RAM.

3. Truque 2: descodificação especulativa

   Um ajudante pequeno adivinha vários tokens e o modelo grande verifica-os de uma vez: se acertar, avança vários passos por um.

4. Strata: um MoE de 125.000 milhões num PC gamer

   Projeto aberto (MIT) que executa o Qwen3.8-Flash-Next com uma placa de 12 GB, 32–64 GB de RAM e cerca de 80 GB livres de SSD.

5. Strata: o que está demonstrado e o que não está

   Funciona e há testes independentes, mas é uma versão 0.1 de um só autor, com um único modelo e números medidos por ele.

6. TensorFold: mais rápido sem mudar a resposta

   Motor aberto (Apache 2.0) para Mac e NVIDIA baseado em descodificação especulativa que só aceita o que o modelo escreveria igual.

7. TensorFold: as letras pequenas

   Brilha com uma só pessoa; com muitos pedidos ao mesmo tempo, um servidor clássico como o vLLM leva-lhe muita vantagem.

8. Alternativas testadas e como testar sem risco

   Antes de um projeto de semanas, veja o que já funciona em motores maduros e teste o novo à parte, com as suas próprias perguntas.

9. Resumo

   O novo em local consiste em ter à mão o que se lê em cada token e adivinhar vários tokens de uma vez; teste antes de confiar.