Ollama, LM Studio, llama.cpp ou vLLM: que motor usar

O que vais ver nesta lição

1. O que faz um motor local

   O motor carrega o modelo em memória, gera o texto e disponibiliza-o aos seus programas; o modelo é o mesmo, muda a forma como corre.

2. Ollama: um comando e a funcionar

   É a forma mais rápida de começar no Windows, Mac ou Linux: escolhe um modelo do catálogo e executa-o.

3. LM Studio: tudo com janelas, e MLX no Mac

   Uma aplicação para procurar, descarregar e testar modelos do Hugging Face com o rato, gratuita também para uso empresarial.

4. llama.cpp: o motor para quem quer controlo

   Muitas ferramentas assentam no seu código; usando-o diretamente decide cada definição e costuma estrear primeiro os modelos novos.

5. Mesmo código, outro servidor: a API da OpenAI

   Todos estes motores imitam a API da OpenAI: muda o endereço base e os seus scripts, n8n ou apps funcionam com o modelo local.

6. vLLM e SGLang: quando o modelo é para a equipa toda

   São feitos para atender muitos pedidos ao mesmo tempo em placas NVIDIA ou AMD, com muito mais rendimento total do que o Ollama.

7. MoE gigantes com uma só placa: especialistas na RAM

   Deixe na placa gráfica a atenção e a cache, usadas em cada token, e envie para a RAM os especialistas, que são o que mais pesa.

8. Qual escolher conforme o seu caso

   Comece pelo simples e mude de motor só quando chocar com um limite concreto.

9. Resumo

   O modelo é o mesmo; o motor decide a comodidade, a rapidez e quantas pessoas consegue atender.