基于 Thunderbolt 4 的 Mac mini 集群

分布式推理受带宽限制。每个 token 都要经过节点之间的链路，因此互联决定了一个集群是真的快，还是仅仅规模大。

Thunderbolt 4 为每条链路提供双向 40 Gb/s，是千兆以太网的四十倍，足以让机器之间不再互相等待。这正是用线缆直连集群，而不是把 Mac 接到交换机上碰运气的全部理由。

第二个理由是内存。Apple Silicon 的 CPU 和 GPU 共享内存，因此一个节点的全部 RAM 都可供模型使用。在集群中，这些内存可以合并：

具体总量取决于您为每个节点选择的 M4 或 M6 配置，每个节点最多 32 GB。

单台机器装不下的模型，通过 MLX distributed、EXO 或 llama.cpp RPC 分片到多个节点上。这正是 Thunderbolt 链路物有所值的场景，否则您就得按小时租用数据中心 GPU。

同一机架中四台或八台机器，一个账户，构建任务分布在它们之间。同样的硬件，不同的工作。

把帧或镜头分配到各节点，完成的输出再通过同一条链路取回。

多个 AI 智能体无人值守运行，每个都有自己的机器，共享一个私有网络和同一个联系人。

合并内存是决定节点数量的约束条件。告诉我们您打算运行的模型和量化方式，我们会告诉您合适的配置，而不是卖给您不需要的节点。

当模型在一台机器上装不下时，集群才是正确答案。如果装得下，一台更大的机器每次都会胜过两台更小的机器，我们也会如实告诉您。

节点的连线方式会影响吞吐量。我们为分片推理搭建环形拓扑，为任务分发搭建中心辐射式（hub）布局，并按您描述的工作负载进行配置。

告诉我们您要运行什么、需要多少内存。我们会确定集群规模，完成组建和测试，在可正常运行时交付给您。