Thunderbolt 4로 연결한 Mac mini 클러스터

분산 추론은 대역폭에 묶입니다. 모든 토큰이 노드 사이 링크를 건너야 하므로, 클러스터가 빠른지 아니면 크기만 큰지는 인터커넥트가 결정합니다.

Thunderbolt 4는 링크마다 양방향 40 Gb/s를 제공합니다. 기가비트 이더넷의 40배이며, 머신들이 서로를 기다리지 않을 만큼 충분합니다. Mac들을 스위치에 연결하고 잘되길 바라는 대신 클러스터를 케이블로 직접 연결하는 이유가 바로 이것입니다.

두 번째 이유는 메모리입니다. Apple Silicon은 CPU와 GPU가 메모리를 공유하므로 노드의 RAM 전체를 모델이 쓸 수 있습니다. 클러스터 전체로는 이것이 합쳐집니다:

정확한 합계는 M4와 M6 머신 중에서 선택하는 노드별 구성에 따라 달라지며, 노드당 최대 32 GB입니다.

머신 한 대에 들어가지 않는 큰 모델을 MLX distributed, EXO 또는 llama.cpp RPC로 노드에 나눠 올립니다. Thunderbolt 링크가 제값을 하는 경우이며, 그렇지 않으면 데이터 센터 GPU를 시간 단위로 임대해야 하는 경우입니다.

한 랙에 4대 또는 8대, 계정 하나, 빌드는 머신들에 분산됩니다. 같은 하드웨어, 다른 작업.

프레임이나 샷을 노드에 분배하고, 완성된 결과물은 같은 링크로 다시 가져옵니다.

여러 AI 에이전트가 사람 없이 실행되며, 각자 자기 머신을 갖고 사설 네트워크와 단일 연락 창구를 공유합니다.

풀링된 메모리가 노드 수를 결정하는 제약입니다. 실행하려는 모델과 양자화를 알려 주시면, 필요 없는 노드를 판매하는 대신 맞는 구성을 알려 드립니다.

클러스터는 모델이 머신 한 대에 들어가지 않을 때 맞는 답입니다. 들어간다면 더 큰 머신 한 대가 작은 머신 두 대를 언제나 이기며, 그렇다고 말씀드립니다.

노드를 어떻게 케이블로 연결하느냐에 따라 처리량이 달라집니다. 샤딩 추론에는 링 토폴로지를, 작업 분배에는 허브 구성을 구축하며, 설명해 주신 워크로드에 맞게 설정합니다.

실행하려는 작업과 필요한 메모리를 알려 주세요. 클러스터 규모를 정하고, 구축하고, 테스트한 뒤 작동하는 상태로 인도합니다.