Clústeres: une varios equipos para modelos más grandes

Qué vas a ver en esta lección

1. Por qué unir varios equipos

   Un modelo solo funciona bien si cabe entero en memoria; unir equipos suma esa memoria para mover modelos que no caben en uno.

2. Repartir capas: suma memoria, no velocidad

   En el paralelismo por capas, o pipeline, cada equipo guarda un tramo del modelo y trabajan por turnos, uno detrás de otro.

3. Repartir tensores: también suma velocidad

   En el paralelismo de tensores, cada capa se trocea entre todos los equipos, que calculan su parte a la vez y juntan el resultado.

4. La conexión decide si ganas velocidad

   Para repartir capas vale casi cualquier red; para repartir tensores necesitas mucho ancho de banda y, sobre todo, poco retardo.

5. exo: un clúster de Mac casi sin configurar

   exo encuentra los equipos de tu red, decide cómo repartir el modelo y ofrece un panel y una API en el puerto 52415.

6. llama.cpp RPC: mezcla los equipos que ya tienes

   Con el modo RPC de llama.cpp, un PC con gráfica NVIDIA, un Mac y otro PC pueden repartirse las capas de un mismo modelo.

7. vLLM: tensores en el nodo, capas entre nodos

   vLLM reparte un modelo entre varias GPU con --tensor-parallel-size y entre varios servidores con --pipeline-parallel-size.

8. Cuándo merece la pena y cuándo no

   Un clúster compensa cuando el modelo no cabe en ningún equipo que puedas comprar; si cabe en uno, casi siempre es mejor un solo equipo.

9. Resumen: clústeres para IA local

   Unir equipos siempre suma memoria; solo suma velocidad si repartes tensores y la conexión es muy rápida.