Ollama, LM Studio, llama.cpp o vLLM: qué motor usar

Qué vas a ver en esta lección

1. Qué hace un motor local

   El motor carga el modelo en memoria, genera el texto y lo ofrece a tus programas; el modelo es el mismo, cambia cómo se ejecuta.

2. Ollama: un comando y a funcionar

   Es la forma más rápida de empezar en Windows, Mac o Linux: eliges un modelo de su catálogo y lo ejecutas.

3. LM Studio: todo con ventanas, y MLX en Mac

   Una aplicación para buscar, descargar y probar modelos de Hugging Face con ratón, gratuita también para uso en empresa.

4. llama.cpp: el motor para quien quiere control

   Muchas herramientas se apoyan en su código; usándolo directamente decides cada ajuste y sueles estrenar antes los modelos nuevos.

5. Mismo código, otro servidor: la API de OpenAI

   Todos estos motores imitan la API de OpenAI: cambias la dirección base y tus scripts, n8n o apps funcionan con el modelo local.

6. vLLM y SGLang: cuando el modelo es para todo el equipo

   Están hechos para atender muchas peticiones a la vez en gráficas NVIDIA o AMD, con mucho más rendimiento total que Ollama.

7. MoE gigantes con una sola gráfica: expertos a la RAM

   Deja en la gráfica la atención y la caché, que se usan en cada token, y manda a la RAM los expertos, que son lo que más pesa.

8. Cuál elegir según tu caso

   Empieza por lo sencillo y cambia de motor solo cuando choques con un límite concreto.

9. Resumen

   El modelo es el mismo; el motor decide lo cómodo, lo rápido y a cuántas personas puede atender.