Clusters: junte vários computadores para modelos maiores

O que vais ver nesta lição

1. Porquê juntar vários equipamentos

   Um modelo só funciona bem se couber inteiro na memória; juntar equipamentos soma essa memória para correr modelos que não cabem num só.

2. Repartir camadas: soma memória, não velocidade

   No paralelismo por camadas, ou pipeline, cada equipamento guarda um troço do modelo e trabalham à vez, um atrás do outro.

3. Repartir tensores: também soma velocidade

   No paralelismo de tensores, cada camada é dividida entre todos os equipamentos, que calculam a sua parte ao mesmo tempo e juntam o resultado.

4. A ligação decide se ganha velocidade

   Para repartir camadas serve quase qualquer rede; para repartir tensores precisa de muita largura de banda e, sobretudo, pouco atraso.

5. exo: um cluster de Mac quase sem configurar

   O exo encontra os equipamentos da sua rede, decide como repartir o modelo e oferece um painel e uma API na porta 52415.

6. llama.cpp RPC: misture os equipamentos que já tem

   Com o modo RPC do llama.cpp, um PC com placa NVIDIA, um Mac e outro PC podem repartir entre si as camadas de um mesmo modelo.

7. vLLM: tensores no nó, camadas entre nós

   O vLLM reparte um modelo entre várias GPU com --tensor-parallel-size e entre vários servidores com --pipeline-parallel-size.

8. Quando vale a pena e quando não

   Um cluster compensa quando o modelo não cabe em nenhum equipamento que possa comprar; se cabe num, quase sempre é melhor um só equipamento.

9. Resumo: clusters para IA local

   Juntar equipamentos soma sempre memória; só soma velocidade se repartir tensores e a ligação for muito rápida.