Ollama, LM Studio, llama.cpp ou vLLM : quel moteur utiliser

Ce que vous verrez dans cette leçon

1. Ce que fait un moteur local

   Le moteur charge le modèle en mémoire, génère le texte et le met à disposition de vos programmes ; le modèle est le même, c'est l'exécution qui change.

2. Ollama : une commande et c'est parti

   C'est le moyen le plus rapide de démarrer sous Windows, Mac ou Linux : vous choisissez un modèle dans son catalogue et vous le lancez.

3. LM Studio : tout en fenêtres, et MLX sur Mac

   Une application pour chercher, télécharger et tester des modèles de Hugging Face à la souris, gratuite aussi pour un usage en entreprise.

4. llama.cpp : le moteur pour qui veut le contrôle

   Beaucoup d'outils reposent sur son code ; en l'utilisant directement, vous décidez de chaque réglage et profitez souvent plus tôt des nouveaux modèles.

5. Même code, autre serveur : l'API d'OpenAI

   Tous ces moteurs imitent l'API d'OpenAI : vous changez l'adresse de base et vos scripts, n8n ou applis fonctionnent avec le modèle local.

6. vLLM et SGLang : quand le modèle sert à toute l'équipe

   Ils sont faits pour traiter beaucoup de requêtes à la fois sur des cartes NVIDIA ou AMD, avec un débit total bien supérieur à Ollama.

7. MoE géants avec une seule carte : les experts en RAM

   Gardez sur la carte graphique l'attention et le cache, utilisés à chaque token, et envoyez en RAM les experts, qui pèsent le plus.

8. Lequel choisir selon votre cas

   Commencez simple et ne changez de moteur que lorsque vous butez sur une limite précise.

9. Résumé

   Le modèle est le même ; le moteur décide du confort, de la vitesse et du nombre de personnes servies.