Ollama, LM Studio, llama.cpp o vLLM: quale motore usare

Cosa vedrai in questa lezione

1. Cosa fa un motore locale

   Il motore carica il modello in memoria, genera il testo e lo offre ai tuoi programmi; il modello è lo stesso, cambia come viene eseguito.

2. Ollama: un comando ed è pronto

   È il modo più rapido per cominciare su Windows, Mac o Linux: scegli un modello dal suo catalogo e lo esegui.

3. LM Studio: tutto a finestre, e MLX su Mac

   Un'applicazione per cercare, scaricare e provare modelli di Hugging Face col mouse, gratuita anche per l'uso aziendale.

4. llama.cpp: il motore per chi vuole controllo

   Molti strumenti si basano sul suo codice; usandolo direttamente decidi ogni impostazione e di solito provi prima i nuovi modelli.

5. Stesso codice, altro server: l'API di OpenAI

   Tutti questi motori imitano l'API di OpenAI: cambi l'indirizzo base e i tuoi script, n8n o app funzionano con il modello locale.

6. vLLM e SGLang: quando il modello è per tutto il team

   Sono fatti per servire molte richieste insieme su schede NVIDIA o AMD, con un rendimento totale molto superiore a Ollama.

7. MoE giganti con una sola scheda video: esperti nella RAM

   Lascia sulla scheda video l'attenzione e la cache, usate a ogni token, e manda nella RAM gli esperti, che sono la parte più pesante.

8. Quale scegliere in base al tuo caso

   Comincia dal semplice e cambia motore solo quando ti scontri con un limite concreto.

9. Riepilogo

   Il modello è lo stesso; il motore decide quanto è comodo, quanto è veloce e quante persone può servire.