가이드
Mac mini 로컬 AI 모델: 메모리 용량별로 실행되는 모델
Mac mini 메모리 용량별로 맞는 오픈 모델, 실행 속도, AI 에이전트에서 클라우드 모델과 로컬 모델을 함께 쓰는 방법. 2026년 9월 기준 업데이트.
2026-09-15 업데이트
Mac mini는 클라우드 없이, 요청당 비용 없이 언어 모델을 자체적으로 실행할 수 있습니다. 무엇을 실행할 수 있는지는 거의 전적으로 하나의 숫자, 메모리에 달려 있습니다.
이 가이드는 각 Mac mini에 맞는 모델, 그 용도, AI 에이전트 안에서 로컬 모델을 쓰는 방법을 보여 줍니다.
Mac mini가 이 작업에 적합한 이유
모델 이름은 2026년 9월에 확인했습니다. 몇 달마다 새 모델이 나오지만 아래 메모리 규칙은 그대로입니다.
대부분의 컴퓨터에서 언어 모델은 그래픽 카드 메모리에 들어가야 하는데, 이 메모리는 작고 비쌉니다. Apple silicon은 프로세서와 그래픽 코어가 하나의 메모리 풀을 공유합니다. 48 GB Mac mini는 다른 컴퓨터라면 대형 전용 그래픽 카드가 필요할 모델을 불러올 수 있습니다.
중요한 숫자는 두 가지입니다:
- 메모리 용량은 어떤 모델이 아예 들어갈 수 있는지를 정합니다.
- 메모리 대역폭은 응답 속도를 정합니다. 기본 칩보다 Pro 칩에서 훨씬 높고, 새 세대마다 높아집니다.
모델에 필요한 메모리
모델은 보통 양자화해서 실행합니다. 숫자를 더 적은 비트로 저장해, 품질 손실은 조금만 감수하고 크기를 줄입니다. 일반적으로 4비트를 씁니다.
유용한 규칙: 4비트에서 모델은 파라미터 10억 개당 약 0.6 GB가 필요하고, 여기에 대화(컨텍스트)와 macOS 자체를 위한 여유가 더 필요합니다.
Where the memory goes, at 4-bit
- 16 GBA 9B model, about 6 GB
- 24 GBA 24B model, about 15 GB
- 48 GBA 35B model, about 21 GB
- 64 GBA 70B model, about 43 GB
The rest is macOS and the conversation. A model that fits with a short chat may not fit with a long document in it.
| 모델 크기 | 4비트 기준 메모리(대략) |
|---|---|
| 4B | 3 GB |
| 9B | 6 GB |
| 20~24B | 13~15 GB |
| 31~35B | 18~21 GB |
| 70B | 43 GB |
상황을 바꾸는 요소가 두 가지 있습니다:
- 긴 컨텍스트도 메모리를 씁니다. 짧은 대화로는 들어가는 모델도 100페이지 문서가 들어가면 들어가지 않을 수 있습니다.
- macOS는 그래픽 코어에 메모리의 많은 부분을 할당하지만 전부는 아닙니다. 특히 16 GB와 24 GB 기기에서는 여유를 남기세요.
Mac mini별로 실행되는 모델
| 메모리 | 여유 있게 쓸 수 있는 모델 크기 | 예시(2026년 9월) | 적합한 용도 |
|---|---|---|---|
| 8 GB | 약 4B까지 | Gemma 4 E2B, E4B | 메시지 정리 및 분류, 텍스트에서 필드 추출 |
| 16 GB | 약 9B까지 | Qwen3.5 9B, Gemma 4 E4B | 요약, 간단한 에이전트, 요청 라우팅, 짧은 초안 |
| 24 GB | 약 24B까지 | Mistral Small 3.2 24B, gpt-oss-20b | 도구 호출, 코딩 지원, 문서 질의응답 |
| 32 GB | 약 35B까지 | Gemma 4 31B, Qwen3.6 35B-A3B | 더 강한 추론, 글쓰기, 이미지를 다루는 에이전트 작업 |
| 48 GB | 긴 컨텍스트의 35B, 또는 여러 모델 동시 실행 | Gemma 4 31B, Qwen3.6 35B-A3B | 다른 워크로드와 함께 쓰는 본격적인 로컬 어시스턴트 |
| 64 GB | 약 70B까지 | Llama 3.3 70B | Mac mini가 담을 수 있는 가장 큰 모델 |
“A3B” 모델에 대해. Qwen3.6 35B-A3B 같은 이름은 전문가 혼합(mixture-of-experts) 모델을 뜻합니다. 파라미터는 350억 개가 저장되지만 단어 하나마다 약 30억 개만 사용됩니다. 35B 모델만큼의 메모리가 필요하고, 소형 모델에 가까운 속도로 응답합니다. Mac에서는 대개 이것이 가장 좋은 절충입니다.
어떤 Mac mini를 고를까
| 하려는 일 | 선택 |
|---|---|
| 주로 클라우드를 쓰는 에이전트에 소형 로컬 모델 추가 | M4, 16 GB |
| 도구 호출과 문서 작업에 쓸 만한 중형 모델 실행 | M4, 24 또는 32 GB |
| 다른 작업과 함께 30B급 모델을 빠르게 실행 | M4 Pro 또는 M5 Pro, 48 GB |
| 70B 모델 실행 | M4 Pro 또는 M5 Pro, 64 GB |
로컬 모델에서는 더 빠른 칩보다 더 많은 메모리가 낫습니다. 32 GB M4는 24 GB M4 Pro가 불러오지 못하는 모델을 실행합니다. 메모리가 같다면 Pro 칩과 새 세대가 더 빨리 응답합니다.
시작하기
가장 간단한 방법은 Ollama입니다. 모델을 다운로드하고 실행하며 에이전트에 로컬 API를 제공합니다. Apple silicon에서는 이 칩들에 맞춰 만든 Apple의 MLX 프레임워크를 사용할 수 있습니다.
brew install ollama
ollama serve &
ollama run qwen3.5:9b모델 태그는 바뀌므로, pull하기 전에 Ollama 라이브러리에서 정확한 이름을 확인하세요.
다른 좋은 선택지:
- 창이 있는 앱을 선호한다면 LM Studio.
- 가장 빠른 결과와 파인튜닝 실험에는 Apple의 자체 도구인 mlx-lm.
에이전트 안에서 로컬 모델 사용하기
로컬 모델이 가장 큰 클라우드 모델을 대체하는 경우는 드뭅니다. 함께 쓸 때 가장 효과적입니다.
흔히 쓰는 패턴:
- 1로컬 모델이 들어오는 모든 요청을 읽습니다.요청의 종류를 판단하고, 데이터를 추출하며, 일상적인 요청은 직접 처리합니다.
- 2어려운 요청만 클라우드 모델로 보냅니다.보고서, 판단이 필요한 일, 긴 추론.
실제 에이전트에서는 대부분의 요청이 일상적이므로, 대부분은 Mac 밖으로 나가지 않습니다. 클라우드 청구 금액이 줄고, 간단한 답은 더 빨리 돌아옵니다.
OpenClaw는 Ollama를 제공자로 지원하며, 대부분의 에이전트 프레임워크는 http://127.0.0.1:11434 의 로컬 API와 통신할 수 있습니다.
그 포트는 비공개로 유지하세요. Ollama는 기본적으로 해당 Mac에서만 수신합니다. 인터넷에서 접근할 수 있는 기기에서 모든 네트워크 인터페이스로 수신하도록 바꾸지 마세요. 대신 SSH 터널로 접속하세요.
- WhatsApp으로 회계 앱과 대화하기, 같은 분담을 실제 운영 환경에서
로컬 모델에 호스팅 Mac mini를 쓰는 이유
- 항상 켜져 있습니다. 모델이 로드된 상태로 언제든 준비되어 있으며, 깨워야 할 노트북도 없습니다.
- 구매하지 않고도 모든 메모리 용량을. 24 GB M4를 하루 써 보고, 부족해지면 64 GB M5 Pro로 옮기세요.
- 데이터는 Mac 안에 머뭅니다. 로컬 모델이 응답하는 요청은 AI 제공업체로 전송되지 않습니다.
- EU에서 호스팅.
오늘 재고 있음
지금 랙에 있는 Mac입니다. 하나를 골라 구성을 확인하고, 계정은 주문할 때 만드세요.
랙 확인 중
나만의 Mac mini
구성을 고르세요. 재고가 없으면 이메일을 남겨 주세요. 랙에 설치되는 날 연락드립니다.
연 단위: 월 단위 결제보다 최소 19% 저렴
다음