Thunderbolt 4で接続するMac miniクラスター

分散推論は帯域幅に制約されます。すべてのトークンがノード間のリンクを通るため、クラスターが速いのか、単に大きいだけなのかはインターコネクトで決まります。

Thunderbolt 4は、リンクごとに双方向で40 Gb/sを提供します。ギガビットEthernetの40倍で、マシン同士が互いを待たずに済む帯域です。Macをスイッチにつないで期待するのではなく、クラスターを直接配線する理由はそこにあります。

2つ目の理由はメモリです。Apple SiliconはCPUとGPUでメモリを共有するため、ノードのRAM全体をモデルに使えます。クラスター全体では、それが統合されます：

正確な合計は、M4とM6のマシンでノードごとに選ぶ構成によって決まります。各ノードは最大32 GBです。

1台に収まらない大きさのモデルを、MLX distributed、EXO、llama.cpp RPCでノード間にシャーディングします。Thunderboltリンクが真価を発揮する用途で、そうでなければデータセンターのGPUを時間単位でレンタルすることになるケースです。

1つのラックに4台または8台、アカウントは1つで、ビルドをそれらに分散します。同じハードウェアで、別の仕事をします。

フレームやショットをノードに分散し、完成した出力を同じリンクで回収します。

複数のAIエージェントを無人で動かします。それぞれが専用のマシンを持ち、プライベートネットワークと1つの窓口を共有します。

ノード数を決める制約は統合メモリです。実行する予定のモデルと量子化をお知らせいただければ、不要なノードを販売するのではなく、収まる構成をお伝えします。

クラスターが正解なのは、モデルが1台に収まらない場合です。収まるなら、大きめのマシン1台のほうが小さなマシン2台よりも必ず速く、その場合は当社からそうお伝えします。

ノードの配線方法でスループットが変わります。シャーディングした推論にはリングトポロジー、ジョブの分散にはハブ構成を組み、お客様が説明するワークロードに合わせて設定します。

実行したいものと、必要なメモリ量をお知らせください。クラスターの規模を決め、構築し、テストし、動作する状態で引き渡します。