透過 Thunderbolt 4 連接的 Mac mini 叢集

分散式推論受頻寬限制。每個 token 都必須經過節點之間的連線，因此互連決定叢集是快，還是只是大。

Thunderbolt 4 每條連線雙向各 40 Gb/s，是 Gigabit 乙太網路的四十倍，足以讓機器不再互相等待。這正是把叢集接線起來，而不是把 Mac 接上交換器碰運氣的全部理由。

第二個理由是記憶體。Apple Silicon 的 CPU 與 GPU 共用記憶體，因此節點的全部 RAM 都可供模型使用。在叢集中，記憶體會合併：

確切總量取決於您為 M4 與 M6 機器選擇的每節點配置，每台最多 32 GB。

單台機器裝不下的模型，以 MLX distributed、EXO 或 llama.cpp RPC 分片到各節點。這正是 Thunderbolt 連線發揮價值的情況，否則您就得按小時租用資料中心 GPU。

同一機櫃中四台或八台機器，一個帳號，建置分散到各台。相同的硬體，不同的工作。

把影格或鏡頭分配到各節點，完成的輸出再透過同一條連線取回。

多個 AI 代理程式無人值守地執行，各有自己的機器，共用一個私有網路與單一聯絡窗口。

合併記憶體是決定節點數量的限制。告訴我們您打算執行的模型與量化方式，我們會告訴您適合的配置，而不是賣給您用不到的節點。

當模型裝不進一台機器時，叢集才是正確答案。如果裝得下，一台較大的機器每次都會勝過兩台較小的，我們也會這樣告訴您。

節點的接線方式會改變傳輸量。我們為分片推論建立環狀拓撲，為作業分配建立集線式配置，並依您描述的工作負載進行設定。

告訴我們您想執行什麼，以及需要多少記憶體。我們決定叢集規模、建造、測試，並在可運作的狀態下交付。