指南
Mac mini 上的本地 AI 模型：各内存容量能运行什么
每种内存容量的 Mac mini 能装下哪些开放模型、运行速度如何，以及如何在 AI 智能体中将本地模型与云端模型搭配使用。2026年9月更新。
2026-09-15 更新
Mac mini 可以独立运行语言模型，不需要云，也没有按请求计算的费用。它能运行什么，几乎完全取决于一个数字：内存。
本指南介绍每种 Mac mini 能装下什么、适合做什么，以及如何在 AI 智能体中使用本地模型。
为什么 Mac mini 擅长这件事
模型名称核对于 2026年9月。每隔几个月就会出现新模型，但下面的内存规则不会变。
在大多数电脑上，语言模型必须装进显卡的显存，而显存容量小且昂贵。Apple silicon 让处理器和图形核心共享同一个内存池。一台 48 GB 的 Mac mini 可以加载在其他电脑上需要大容量独立显卡才能运行的模型。
有两个数字很关键：
- 内存容量决定哪些模型能装得下。
- 内存带宽决定它们回答的速度。Pro 芯片的带宽远高于基础款芯片，而且每一代新芯片都更高。
模型需要多少内存
模型通常以量化方式运行：用更少的位数存储参数，在质量只略有下降的情况下缩小体积。4-bit 是常见选择。
一条实用规则：在 4-bit 下，模型每十亿参数大约需要 0.6 GB，另外还要给对话（上下文）和 macOS 本身留出空间。
Where the memory goes, at 4-bit
- 16 GBA 9B model, about 6 GB
- 24 GBA 24B model, about 15 GB
- 48 GBA 35B model, about 21 GB
- 64 GBA 70B model, about 43 GB
The rest is macOS and the conversation. A model that fits with a short chat may not fit with a long document in it.
| 模型规模 | 4-bit 下的大致内存 |
|---|---|
| 4B | 3 GB |
| 9B | 6 GB |
| 20 至 24B | 13 至 15 GB |
| 31 至 35B | 18 至 21 GB |
| 70B | 43 GB |
有两件事会改变这一情况：
- 长上下文同样占用内存。一个在短对话下装得下的模型，放入 100 页的文档后可能就装不下了。
- macOS 会把很大一部分内存分给图形核心，但不是全部。请留出余量，尤其是在 16 GB 和 24 GB 的机器上。
每种 Mac mini 能运行什么
| 内存 | 可流畅运行的模型规模 | 示例（2026年9月） | 适合 |
|---|---|---|---|
| 8 GB | 最多约 4B | Gemma 4 E2B、E4B | 整理和分类消息，从文本中提取字段 |
| 16 GB | 最多约 9B | Qwen3.5 9B、Gemma 4 E4B | 摘要、简单智能体、请求路由、简短草稿 |
| 24 GB | 最多约 24B | Mistral Small 3.2 24B、gpt-oss-20b | 工具调用、编程辅助、文档问答 |
| 32 GB | 最多约 35B | Gemma 4 31B、Qwen3.6 35B-A3B | 更强的推理、写作，以及涉及图像的智能体任务 |
| 48 GB | 带长上下文的 35B 模型，或同时运行多个模型 | Gemma 4 31B、Qwen3.6 35B-A3B | 在运行其他工作负载的同时，提供一个真正实用的本地助手 |
| 64 GB | 最多约 70B | Llama 3.3 70B | Mac mini 能容纳的最大模型 |
关于“A3B”模型。Qwen3.6 35B-A3B 这样的名称表示混合专家模型：存储了 350 亿参数，但每生成一个词只用到约 30 亿。它需要 35B 模型的内存，回答速度却接近小模型。在 Mac 上，这往往是最划算的取舍。
选哪款 Mac mini
| 如果您想 | 选择 |
|---|---|
| 为主要使用云端模型的智能体加一个小型本地模型 | M4，16 GB |
| 运行实用的中等规模模型，用于工具调用和文档处理 | M4，24 GB 或 32 GB |
| 在处理其他工作的同时，快速运行 30B 级模型 | M4 Pro 或 M5 Pro，48 GB |
| 运行 70B 模型 | M4 Pro 或 M5 Pro，64 GB |
对本地模型来说，内存更大比芯片更快更重要。32 GB 的 M4 能运行 24 GB 的 M4 Pro 无法加载的模型。内存相同时，Pro 芯片和更新一代的芯片回答更快。
入门
最简单的方法是 Ollama。它负责下载和运行模型，并为您的智能体提供本地 API。在 Apple silicon 上，它可以使用 Apple 专为这些芯片打造的 MLX 框架。
brew install ollama
ollama serve &
ollama run qwen3.5:9b模型标签会变化，所以拉取之前请在 Ollama 模型库中确认准确名称。
其他不错的选择：
- LM Studio，如果您更喜欢带窗口的应用。
- mlx-lm，Apple 自己的工具，速度最快，也适合做微调实验。
在智能体中使用本地模型
本地模型很少能取代最大的云端模型，与它们配合使用效果最好。
一种常见模式：
- 1本地模型读取每一个传入的请求。它判断请求的类型，提取数据，并自行处理日常请求。
- 2只有困难的请求才交给云端模型。报告、需要判断的问题、长链推理。
真实智能体收到的大多数请求都是日常请求，所以大部分请求根本不会离开这台 Mac。云端账单变小，简单的回答也返回得更快。
OpenClaw 支持将 Ollama 作为提供商，大多数智能体框架也能通过 http://127.0.0.1:11434 访问它的本地 API。
不要公开这个端口。Ollama 默认只在本机监听。在可从互联网访问的机器上，不要把它改成在所有网络接口上监听，请改用 SSH 隧道访问。
- 在 WhatsApp 上与您的记账应用对话, 生产环境中的同样分工
为什么用托管的 Mac mini 运行本地模型
- 始终在线。模型已加载，任何时候都可以使用，无需唤醒笔记本电脑。
- 每种内存容量都可以用，无需购买。先用 24 GB 的 M4 试一天，不够用时再换到 64 GB 的 M5 Pro。
- 您的数据留在您的 Mac 上。由本地模型回答的请求绝不会发送给 AI 服务商。
- 托管在欧盟。
今日有货
这些 Mac 现已在机架中。选一台，看看它包含什么，下单时再创建账户即可。
正在查看机架
专属于您的 Mac mini
选择配置。如果暂时缺货，请留下邮箱，上架当天我们会写信通知您。
按年：比按月付款至少便宜 19%
下一步