אשכולות Mac mini על Thunderbolt 4

הסקה מבוזרת מוגבלת ברוחב פס. כל טוקן צריך לעבור בחיבור בין הצמתים, ולכן החיבור קובע אם האשכול מהיר או רק גדול.

Thunderbolt 4 נותן לכל חיבור 40 Gb/s בשני הכיוונים, פי ארבעים מ-Ethernet של ג׳יגהביט, ומספיק כדי שהמכונות יפסיקו לחכות זו לזו. זו כל הסיבה לחווט אשכול במקום לחבר את מחשבי ה-Mac למתג ולקוות לטוב.

הסיבה השנייה היא זיכרון. ב-Apple Silicon הזיכרון משותף ל-CPU ול-GPU, כך שכל ה-RAM של צומת זמין למודל. באשכול, הזיכרון הזה מצטבר:

הנפח הכולל המדויק תלוי בתצורה שתבחרו לכל צומת מבין מכונות M4 ו-M6, כל אחת עד 32 GB.

מודלים גדולים מדי למכונה אחת, מפוצלים בין צמתים עם MLX distributed, EXO או llama.cpp RPC. זה המקרה שבו חיבור ה-Thunderbolt מצדיק את עצמו, ושבו אחרת הייתם שוכרים GPU במרכז נתונים לפי שעה.

ארבע או שמונה מכונות בארון שרתים אחד, חשבון אחד, בילדים שמחולקים ביניהן. אותה חומרה, עבודה אחרת.

חלוקת פריימים או שוטים בין צמתים, והתוצר הסופי נמשך בחזרה באותו חיבור.

כמה סוכני AI שרצים ללא השגחה, כל אחד במכונה משלו, עם רשת פרטית משותפת ואיש קשר אחד.

הזיכרון המשותף הוא המגבלה שקובעת את מספר הצמתים. ספרו לנו איזה מודל ואיזו קוונטיזציה אתם מתכננים להריץ, ונגיד לכם איזו תצורה מתאימה, במקום למכור לכם צומת שאתם לא צריכים.

אשכול הוא התשובה הנכונה כשמודל לא נכנס במכונה אחת. אם הוא כן נכנס, מכונה גדולה אחת תנצח שתי מכונות קטנות בכל פעם, ואנחנו נגיד לכם את זה.

אופן החיווט של הצמתים משנה את התפוקה. אנחנו בונים טופולוגיית טבעת להסקה מפוצלת וסידור hub לחלוקת ג׳ובים, ומגדירים אותה לפי העבודה שתתארו.

ספרו לנו מה אתם רוצים להריץ וכמה זיכרון זה צריך. אנחנו קובעים את גודל האשכול, בונים אותו, בודקים אותו ומוסרים אותו עובד.