Anleitung
Lokale KI-Modelle auf dem Mac mini: was bei welcher Speichergröße läuft
Welche offenen Modelle in welche Speichergröße des Mac mini passen, wie schnell sie laufen und wie Sie in einem KI-Agenten ein lokales Modell neben einem Cloud-Modell nutzen. Stand: September 2026.
Aktualisiert 2026-09-15
Ein Mac mini kann Sprachmodelle selbst ausführen, ohne Cloud und ohne Kosten pro Anfrage. Was er ausführen kann, hängt fast nur von einer Zahl ab: seinem Arbeitsspeicher.
Dieser Leitfaden zeigt, was auf welchen Mac mini passt, wofür es taugt und wie Sie ein lokales Modell in einem KI-Agenten nutzen.
Warum ein Mac mini das gut kann
Modellnamen geprüft im September 2026. Alle paar Monate erscheinen neue Modelle, die Speicherregeln unten bleiben aber gleich.
Auf den meisten Computern muss ein Sprachmodell in den Speicher der Grafikkarte passen, und der ist klein und teuer. Apple silicon teilt einen gemeinsamen Speicherpool zwischen Prozessor und Grafikkernen. Ein Mac mini mit 48 GB kann ein Modell laden, das anderswo eine große, dedizierte Grafikkarte bräuchte.
Zwei Zahlen zählen:
- Die Speichergröße entscheidet, welche Modelle überhaupt passen.
- Die Speicherbandbreite entscheidet, wie schnell sie antworten. Sie ist bei Pro-Chips deutlich höher als bei den Basis-Chips und mit jeder neuen Generation höher.
Wie viel Speicher ein Modell braucht
Modelle laufen meist quantisiert: Deren Zahlen werden mit weniger Bits gespeichert, was die Größe bei nur geringem Qualitätsverlust senkt. Üblich ist 4-Bit.
Eine nützliche Faustregel: Bei 4-Bit braucht ein Modell etwa 0,6 GB pro Milliarde Parameter, plus Platz für die Unterhaltung (den Kontext) und für macOS selbst.
Where the memory goes, at 4-bit
- 16 GBA 9B model, about 6 GB
- 24 GBA 24B model, about 15 GB
- 48 GBA 35B model, about 21 GB
- 64 GBA 70B model, about 43 GB
The rest is macOS and the conversation. A model that fits with a short chat may not fit with a long document in it.
| Modellgröße | Speicher bei 4-Bit, ungefähr |
|---|---|
| 4B | 3 GB |
| 9B | 6 GB |
| 20 bis 24B | 13 bis 15 GB |
| 31 bis 35B | 18 bis 21 GB |
| 70B | 43 GB |
Zwei Dinge ändern das Bild:
- Langer Kontext braucht ebenfalls Speicher. Ein Modell, das mit einer kurzen Unterhaltung passt, passt mit einem 100-seitigen Dokument darin womöglich nicht mehr.
- macOS gibt den Grafikkernen einen großen Teil des Speichers, aber nicht alles. Lassen Sie Reserve, besonders bei Geräten mit 16 und 24 GB.
Was auf welchem Mac mini läuft
| Arbeitsspeicher | Komfortable Modellgrößen | Beispiele (September 2026) | Gut für |
|---|---|---|---|
| 8 GB | Bis etwa 4B | Gemma 4 E2B, E4B | Nachrichten sortieren und klassifizieren, Felder aus Text extrahieren |
| 16 GB | Bis etwa 9B | Qwen3.5 9B, Gemma 4 E4B | Zusammenfassungen, einfache Agents, Anfragen weiterleiten, kurze Entwürfe |
| 24 GB | Bis etwa 24B | Mistral Small 3.2 24B, gpt-oss-20b | Tool Calling, Hilfe beim Programmieren, Fragen zu Dokumenten |
| 32 GB | Bis etwa 35B | Gemma 4 31B, Qwen3.6 35B-A3B | Stärkeres Reasoning, Schreiben, Agent-Arbeit mit Bildern |
| 48 GB | 35B mit langem Kontext oder mehrere Modelle gleichzeitig | Gemma 4 31B, Qwen3.6 35B-A3B | Ein vollwertiger lokaler Assistent neben anderen Workloads |
| 64 GB | Bis etwa 70B | Llama 3.3 70B | Die größten Modelle, die ein Mac mini fassen kann |
Zu „A3B“-Modellen. Namen wie Qwen3.6 35B-A3B bezeichnen ein Mixture-of-Experts-Modell: 35 Milliarden Parameter gespeichert, aber nur etwa 3 Milliarden pro Wort genutzt. Es braucht den Speicher eines 35B-Modells und antwortet fast so schnell wie ein kleines. Auf einem Mac ist das oft der beste Kompromiss.
Welchen Mac mini Sie wählen
| Sie möchten | Wählen |
|---|---|
| Einem Agenten, der meist die Cloud nutzt, ein kleines lokales Modell hinzufügen | M4, 16 GB |
| Brauchbare mittelgroße Modelle für Tool Calling und Dokumente betreiben | M4, 24 oder 32 GB |
| Modelle der 30B-Klasse schnell neben anderer Arbeit betreiben | M4 Pro oder M5 Pro, 48 GB |
| 70B-Modelle betreiben | M4 Pro oder M5 Pro, 64 GB |
Für lokale Modelle schlägt mehr Speicher einen schnelleren Chip. Ein M4 mit 32 GB führt Modelle aus, die ein M4 Pro mit 24 GB nicht laden kann. Bei gleichem Speicher antworten der Pro-Chip und die neuere Generation schneller.
Erste Schritte
Am einfachsten geht es mit Ollama. Es lädt Modelle herunter, führt sie aus und gibt Ihrem Agenten eine lokale API. Auf Apple silicon kann es Apples MLX-Framework nutzen, das für diese Chips gebaut ist.
brew install ollama
ollama serve &
ollama run qwen3.5:9bModell-Tags ändern sich. Prüfen Sie daher vor dem Pull den genauen Namen in der Ollama-Bibliothek.
Weitere gute Optionen:
- LM Studio, wenn Sie eine App mit Fenster bevorzugen.
- mlx-lm, Apples eigenes Tool, für die schnellsten Ergebnisse und für Experimente mit Fine-Tuning.
Ein lokales Modell im Agenten nutzen
Lokale Modelle ersetzen die größten Cloud-Modelle selten. Am besten arbeiten sie neben ihnen.
Ein gängiges Muster:
- 1Das lokale Modell liest jede eingehende Anfrage.Es erkennt, welche Art von Anfrage es ist, extrahiert die Daten und erledigt die Routinefälle selbst.
- 2Nur schwierige Anfragen gehen an ein Cloud-Modell.Berichte, Ermessensfragen, langes Reasoning.
Die meisten Anfragen in einem echten Agenten sind Routine, die meisten verlassen den Mac also nie. Die Cloud-Rechnung schrumpft, und einfache Antworten kommen schneller zurück.
OpenClaw unterstützt Ollama als Provider, und die meisten Agent-Frameworks können mit seiner lokalen API unter http://127.0.0.1:11434 sprechen.
Halten Sie diesen Port privat. Ollama lauscht standardmäßig nur auf dem Mac. Stellen Sie es auf einem Rechner, der aus dem Internet erreichbar ist, nicht so um, dass es auf allen Netzwerkschnittstellen lauscht. Greifen Sie stattdessen über einen SSH-Tunnel darauf zu.
- Per WhatsApp mit der Buchhaltungs-App chatten, dieselbe Aufteilung, im Produktivbetrieb
Warum ein gehosteter Mac mini für lokale Modelle
- Immer an. Das Modell ist geladen und rund um die Uhr bereit, ohne dass ein Laptop aufgeweckt werden muss.
- Jede Speichergröße, ohne einen Mac zu kaufen. Testen Sie einen M4 mit 24 GB für einen Tag und wechseln Sie zu einem M5 Pro mit 64 GB, wenn er nicht mehr reicht.
- Ihre Daten bleiben auf Ihrem Mac. Anfragen, die ein lokales Modell beantwortet, gehen nie an einen KI-Anbieter.
- Gehostet in der EU.
Heute auf Lager
Diese stehen jetzt im Rack. Wählen Sie einen, sehen Sie, was dazugehört, und legen Sie Ihr Konto erst bei der Bestellung an.
Racks werden geprüft
Ein eigener Mac mini
Wählen Sie eine Konfiguration. Wenn eine nicht vorrätig ist, hinterlassen Sie Ihre E-Mail, und wir schreiben Ihnen an dem Tag, an dem sie ins Rack kommt.
Jährlich: mindestens 19 % günstiger als monatlich
Als Nächstes