عناقيد Mac mini عبر Thunderbolt 4

الاستدلال الموزع محدود بعرض النطاق. كل رمز (token) يجب أن يعبر الرابط بين العقد، لذا فإن وصلة الربط هي التي تحدد ما إذا كان العنقود سريعًا أم كبيرًا فحسب.

يمنح Thunderbolt 4 كل رابط 40 Gb/s في كلا الاتجاهين، أي أربعين ضعف Ethernet الغيغابت، وهذا يكفي لتتوقف الأجهزة عن انتظار بعضها. وهذا هو السبب كله لربط العنقود بالكابلات بدل وضع أجهزة Mac على محول (switch) والأمل في الأفضل.

السبب الثاني هو الذاكرة. تتشارك شرائح Apple Silicon الذاكرة بين المعالج ووحدة الرسوميات، لذا تكون ذاكرة RAM الكاملة للعقدة متاحة للنموذج. وعلى مستوى العنقود، تتجمع هذه الذاكرة:

تعتمد المجاميع الدقيقة على تكوين كل عقدة الذي تختاره بين أجهزة M4 و M6، وكل منها حتى 32 GB.

نماذج أكبر من أن يتسع لها جهاز واحد، مقسمة بين العقد باستخدام MLX distributed أو EXO أو llama.cpp RPC. هذه هي الحالة التي يثبت فيها رابط Thunderbolt جدواه، والتي كنت ستستأجر فيها لولا ذلك وحدات GPU في مراكز البيانات بالساعة.

أربعة أو ثمانية أجهزة في خزانة واحدة، وحساب واحد، وعمليات بناء موزعة عليها. العتاد نفسه، والمهمة مختلفة.

توزيع الإطارات أو اللقطات على العقد، مع سحب الناتج النهائي عبر الرابط نفسه.

عدة وكلاء ذكاء اصطناعي يعملون دون إشراف، لكل منهم جهازه الخاص، يتشاركون شبكة خاصة ونقطة تواصل واحدة.

الذاكرة المجمعة هي القيد الذي يحدد عدد العقد. أخبرنا بالنموذج ومستوى التكميم (quantisation) الذي تنوي تشغيله، وسنخبرك بالتكوين المناسب، بدل أن نبيعك عقدة لا تحتاج إليها.

العنقود هو الحل الصحيح عندما لا يتسع النموذج على جهاز واحد. وإذا كان يتسع، فإن جهازًا واحدًا أكبر سيتفوق على جهازين أصغر في كل مرة، وسنقول لك ذلك.

طريقة توصيل العقد بالكابلات تغير الإنتاجية. نبني بنى حلقية (ring) للاستدلال المقسم، وترتيبات محورية (hub) لتوزيع المهام، ونجهزها لحمل العمل الذي تصفه.

أخبرنا بما تريد تشغيله وكم يحتاج من الذاكرة. نحدد حجم العنقود، ونبنيه، ونختبره، ونسلمه لك وهو يعمل.