Rehber
Mac mini'de yerel yapay zekâ modelleri: her bellek boyutunda neler çalışır
Her Mac mini bellek boyutuna hangi açık modellerin sığdığı, ne kadar hızlı çalıştıkları ve bir yapay zekâ ajanında yerel modelin bulut modeliyle birlikte nasıl kullanılacağı. Eylül 2026 için güncellendi.
Güncelleme: 2026-09-15
Bir Mac mini, dil modellerini bulut olmadan ve istek başına maliyet olmadan kendi başına çalıştırabilir. Neyi çalıştırabileceği neredeyse tamamen tek bir sayıya bağlıdır: belleğine.
Bu rehber her Mac mini'ye neyin sığdığını, ne işe yaradığını ve yerel bir modelin bir yapay zekâ ajanı içinde nasıl kullanılacağını gösteriyor.
Mac mini bu işte neden iyi
Model adları Eylül 2026'da kontrol edildi. Her birkaç ayda bir yeni modeller çıkar, ancak aşağıdaki bellek kuralları aynı kalır.
Çoğu bilgisayarda bir dil modelinin, küçük ve pahalı olan ekran kartı belleğine sığması gerekir. Apple silicon, işlemci ile grafik çekirdekleri arasında tek bir ortak bellek havuzu paylaştırır. 48 GB'lık bir Mac mini, başka bir bilgisayarda büyük ve ayrı bir ekran kartı gerektirecek bir modeli yükleyebilir.
İki sayı önemlidir:
- Bellek boyutu, hangi modellerin sığabileceğini belirler.
- Bellek bant genişliği, ne kadar hızlı yanıt verdiklerini belirler. Pro çiplerde temel çiplere göre çok daha yüksektir ve her yeni nesilde daha da yükselir.
Bir model ne kadar bellek ister
Modeller genellikle kuantize edilerek çalıştırılır: sayıları daha az bitle saklanır, bu da kalitede yalnızca küçük bir kayıpla boyutu düşürür. Yaygın tercih 4-bit'tir.
Kullanışlı bir kural: 4-bit'te bir model, milyar parametre başına yaklaşık 0,6 GB'a, ayrıca konuşma (bağlam) ve macOS'in kendisi için alana ihtiyaç duyar.
Where the memory goes, at 4-bit
- 16 GBA 9B model, about 6 GB
- 24 GBA 24B model, about 15 GB
- 48 GBA 35B model, about 21 GB
- 64 GBA 70B model, about 43 GB
The rest is macOS and the conversation. A model that fits with a short chat may not fit with a long document in it.
| Model boyutu | 4-bit'te bellek, yaklaşık |
|---|---|
| 4B | 3 GB |
| 9B | 6 GB |
| 20 ila 24B | 13 ila 15 GB |
| 31 ila 35B | 18 ila 21 GB |
| 70B | 43 GB |
İki şey tabloyu değiştirir:
- Uzun bağlam da bellek kullanır. Kısa bir konuşmayla sığan bir model, içinde 100 sayfalık bir belge olduğunda sığmayabilir.
- macOS, grafik çekirdeklerine belleğin büyük bir kısmını verir, ama tamamını değil. Özellikle 16 ve 24 GB'lık makinelerde pay bırakın.
Her Mac mini'de neler çalışır
| Bellek | Rahat çalışan model boyutları | Örnekler (Eylül 2026) | Uygun olduğu iş |
|---|---|---|---|
| 8 GB | Yaklaşık 4B'ye kadar | Gemma 4 E2B, E4B | Mesajları ayırmak ve sınıflandırmak, metinden alan çıkarmak |
| 16 GB | Yaklaşık 9B'ye kadar | Qwen3.5 9B, Gemma 4 E4B | Özetler, basit ajanlar, istekleri yönlendirme, kısa taslaklar |
| 24 GB | Yaklaşık 24B'ye kadar | Mistral Small 3.2 24B, gpt-oss-20b | Araç çağırma, kodlama yardımı, belgeler hakkında sorular |
| 32 GB | Yaklaşık 35B'ye kadar | Gemma 4 31B, Qwen3.6 35B-A3B | Daha iyi akıl yürütme, yazma, görsellerle ajan çalışması |
| 48 GB | Uzun bağlamla 35B ya da aynı anda birkaç model | Gemma 4 31B, Qwen3.6 35B-A3B | Diğer iş yüklerinin yanında ciddi bir yerel asistan |
| 64 GB | Yaklaşık 70B'ye kadar | Llama 3.3 70B | Bir Mac mini'nin taşıyabileceği en büyük modeller |
“A3B” modelleri hakkında. Qwen3.6 35B-A3B gibi adlar bir mixture-of-experts (uzmanlar karışımı) modeli anlamına gelir: 35 milyar parametre saklanır, ancak her kelime için yalnızca yaklaşık 3 milyarı kullanılır. 35B bir modelin belleğine ihtiyaç duyar ve küçük bir modelin hızına yakın yanıt verir. Mac'te bu çoğu zaman en iyi dengedir.
Hangi Mac mini'yi seçmeli
| Yapmak istediğiniz | Seç |
|---|---|
| Çoğunlukla bulutu kullanan bir ajana küçük bir yerel model eklemek | M4, 16 GB |
| Araç çağırma ve belgeler için işe yarar orta boy modeller çalıştırmak | M4, 24 ya da 32 GB |
| 30B sınıfı modelleri başka işlerin yanında hızlı çalıştırmak | M4 Pro ya da M5 Pro, 48 GB |
| 70B modeller çalıştırmak | M4 Pro ya da M5 Pro, 64 GB |
Yerel modellerde daha fazla bellek, daha hızlı bir çipten daha önemlidir. 32 GB'lık bir M4, 24 GB'lık bir M4 Pro'nun yükleyemediği modelleri çalıştırır. Bellek aynı olduğunda Pro çip ve daha yeni nesil daha hızlı yanıt verir.
Başlarken
En basit yol Ollama. Modelleri indirir, çalıştırır ve ajanınıza yerel bir API sunar. Apple silicon'da, bu çipler için geliştirilmiş olan Apple'ın MLX framework'ünü kullanabilir.
brew install ollama
ollama serve &
ollama run qwen3.5:9bModel etiketleri değişir, bu yüzden pull etmeden önce Ollama kütüphanesindeki tam adı kontrol edin.
Diğer iyi seçenekler:
- Pencereli bir uygulamayı tercih ediyorsanız LM Studio.
- En hızlı sonuçlar ve fine-tuning denemeleri için Apple'ın kendi aracı mlx-lm.
Yerel bir modeli ajan içinde kullanmak
Yerel modeller en büyük bulut modellerinin yerini nadiren alır. En iyi, onların yanında çalışırlar.
Yaygın bir düzen:
- 1Gelen her isteği yerel model okur.İsteğin türüne karar verir, verileri çıkarır ve rutin olanları kendisi halleder.
- 2Bulut modeline yalnızca zor istekler gider.Raporlar, muhakeme gerektiren kararlar, uzun akıl yürütme.
Gerçek bir ajanda isteklerin çoğu rutindir, bu yüzden çoğu Mac'ten hiç çıkmaz. Bulut faturası küçülür ve basit yanıtlar daha hızlı gelir.
OpenClaw, Ollama'yı sağlayıcı olarak destekler ve çoğu ajan framework'ü http://127.0.0.1:11434 adresindeki yerel API'siyle konuşabilir.
O portu özel tutun. Ollama varsayılan olarak yalnızca Mac üzerinde dinler. İnternetten erişilebilen bir makinede bunu tüm ağ arayüzlerinde dinleyecek şekilde değiştirmeyin. Bunun yerine ona bir SSH tüneli üzerinden erişin.
- Muhasebe uygulamanızla WhatsApp üzerinden yazışın, aynı ayrım, canlı ortamda
Yerel modeller için neden barındırılan bir Mac mini
- Her zaman açık. Model yüklü ve günün her saatinde hazır, uyandırılacak bir dizüstü yok.
- Satın almadan her bellek boyutu. 24 GB'lık bir M4'ü bir günlüğüne deneyin, yetmediğinde 64 GB'lık bir M5 Pro'ya geçin.
- Verileriniz Mac'inizde kalır. Yerel modelin yanıtladığı istekler hiçbir zaman bir yapay zekâ sağlayıcısına gönderilmez.
- AB'de barındırılır.
Bugün stokta
Bunlar şu anda kabinde. Birini seçin, neyle geldiğine bakın ve hesabınızı yalnızca sipariş verirken oluşturun.
Kabinler kontrol ediliyor
Size ait bir Mac mini
Bir yapılandırma seçin. Stokta yoksa e-postanızı bırakın, kabine girdiği gün size yazalım.
Yıllık: aylık ödemeye göre en az %19 daha az
Sıradaki