Unified-Memory-Workbench
Modell, Quantisierung und Kontext einstellen und sofort sehen, wie viel Unified Memory dein Mac für ein lokales LLM braucht, inklusive KV-Cache und Reserve für macOS.
Kurzantwort
Ein lokales LLM auf dem Mac braucht die quantisierten Gewichte plus KV-Cache, Runtime-Puffer und Platz für macOS. Faustregel bei 4-Bit (Q4) und 8K Kontext: 16 GB Unified Memory reichen für 7B–8B-Modelle, 24–32 GB für 12B–32B, 64 GB sind die erste praktische Stufe für 70B, 96–128 GB geben Luft für höhere Präzision und lange Kontexte.
| Modellgröße | Q4-Gewichte | Minimum | Komfortabel |
|---|---|---|---|
| 3B–4B | ≈ 2–3 GB | 8 GB | 16 GB |
| 7B–8B | ≈ 5 GB | 16 GB | 24 GB |
| 12B–14B | ≈ 8–9 GB | 16 GB | 24–32 GB |
| 27B–32B | ≈ 17–20 GB | 32 GB | 48 GB |
| 70B | ≈ 43 GB | 64 GB | 96–128 GB |
| 100B–120B | ≈ 60–70 GB | 96 GB | 128 GB |
| 405B | ≈ 249 GB | 512 GB | 512 GB |
Gewichte nach den Q4_K_M-Beispielen von llama.cpp (8B ≈ 4,9 GB, 70B ≈ 43,1 GB, 405B ≈ 249,1 GB); Minimum und Komfortabel enthalten KV-Cache, Runtime und macOS. RAM-Guide öffnen · Zuletzt geprüft:
Modell-Tabelle
Mit demselben Rechenmodell wie der Rechner oben berechnet: Q4_K_M, Ollama, F16-KV-Cache, eine Session. „Knapp“ heißt 8K Kontext mit 5 GB für macOS und wenige Apps. „Komfortabel“ heißt 32K Kontext mit 8 GB Reserve und höchstens 85 % Auslastung. Die Download-Dateien in Ollama sind oft 1–4 GB größer als die reinen Q4-Gewichte, weil Embeddings und Vision-Teile in höherer Präzision bleiben; die Spalte „komfortabel“ lässt dafür Luft. gpt-oss erscheint im MXFP4-Format; beim 120B liegt die Q4-Rechnung einige GB über der 65-GB-Datei in Ollama und ist damit eher vorsichtig.
| Modell | Erschienen | Q4-Gewichte | KV-Cache 8K | KV-Cache 32K | Mac knapp | Mac komfortabel | Bauart |
|---|---|---|---|---|---|---|---|
| Qwen 3.5 9B | 5.1 GB | 0.3 GB | 1.0 GB | 16 GB | 24 GB | Gated DeltaNet + Attention, Bild | |
| Granite 4.2 8B | 5.1 GB | 1.3 GB | 5.0 GB | 16 GB | 24 GB | volle Attention, nur Text | |
| Gemma 4 12B | 6.8 GB | 0.4 GB | 0.6 GB | 16 GB | 24 GB | Hybrid-Attention, Bild | |
| gpt-oss 20B (MoE) | 11.9 GB | 0.2 GB | 0.8 GB | 24 GB | 32 GB | MoE, 3,6B aktiv, nur Text | |
| Gemma 4 26B A4B (MoE) | 14.8 GB | 0.3 GB | 0.5 GB | 24 GB | 32 GB | MoE, 4B aktiv, alle 26B im Speicher | |
| Qwen 3.8 27B | 15.4 GB | 0.6 GB | 2.1 GB | 24 GB | 36 GB | Gated DeltaNet + Attention, Bild | |
| Muse Glimmer 30B | 16.0 GB | 0.2 GB | 0.5 GB | 24 GB | 32 GB | Sliding Window + global, Bild | |
| Qwen3 Coder 30B A3B (MoE) | 17.4 GB | 0.8 GB | 3.0 GB | 24 GB | 36 GB | MoE, 3,3B aktiv, Coding, nur Text | |
| Granite 4.2 30B | 16.5 GB | 2.0 GB | 8.0 GB | 32 GB | 48 GB | volle Attention, nur Text | |
| Gemma 4 31B | 17.5 GB | 1.1 GB | 2.0 GB | 32 GB | 48 GB | Hybrid-Attention, Bild | |
| Qwen 3.6 35B A3B (MoE) | 19.9 GB | 0.2 GB | 0.7 GB | 32 GB | 48 GB | MoE, 3B aktiv, Gated DeltaNet | |
| Llama 3.1 70B | 39.9 GB | 2.5 GB | 10.0 GB | 64 GB | 96 GB | volle Attention | |
| gpt-oss 120B (MoE) | 66.6 GB | 0.3 GB | 1.1 GB | 96 GB | 96 GB | MoE, 5,1B aktiv, nur Text | |
| Qwen 3.8 Flash Next 125B A6B (MoE) | 42.2 GB | 0.3 GB | 0.9 GB | 128 GB | 128 GB | MoE, 6B aktiv, 51B-N-Gram-Tabelle, Bild | |
| GLM-5.3-Flash 320B A18B (MoE) | 182.3 GB | 0.2 GB | 0.7 GB | 192 GB | 256 GB | MoE, 18B aktiv, lineare + Sparse-Attention, Bild |
Rechenweg
Das passt ab 32 GB. Unter 85 % Auslastung bleibt es erst mit 36 GB, auf einem 24-GB-Mac nur mit weniger Kontext und schlankerer Reserve.
KV-Cache
Modelle mit voller Attention speichern für jedes Token in jeder Schicht Keys und Values. Gemma 4 und Muse Glimmer nutzen überwiegend Sliding-Window-Schichten, Qwen 3.6 und 3.8 überwiegend Gated-DeltaNet-Schichten mit festem Zustand. Deshalb wächst ihr Cache mit dem Kontext viel langsamer:
| Modell | KV-Cache bei 32K | KV-Cache bei 128K |
|---|---|---|
| Llama 3.1 70B | 10.0 GB | 40.0 GB |
| Mistral Small 24B | 5.0 GB | nicht unterstützt |
| Gemma 4 31B | 2.0 GB | 5.8 GB |
| Muse Glimmer 30B | 0.5 GB | 1.7 GB |
| Qwen 3.8 27B | 2.1 GB | 8.1 GB |
Praxis
Q4_K_M statt Q6_K oder Q8_0 spart etwa ein Viertel bis die Hälfte der Gewichte. Unter Q4 wird der Qualitätsverlust bei den meisten Modellen spürbar.
Lade nur den Kontext, den du nutzt. Bei Modellen mit voller Attention wie Llama 3.1 70B spart der Schritt von 128K auf 32K zweistellige Gigabyte KV-Cache.
Ein Q8_0-KV-Cache halbiert den Cache-Speicher ungefähr, bei kaum Qualitätsverlust. In Ollama braucht das Flash Attention und OLLAMA_KV_CACHE_TYPE; llama.cpp und LM Studio haben eigene Schalter.
Gemma 4, Qwen 3.6/3.8 und Muse Glimmer halten die meisten Schichten auf einem kleinen festen oder gefensterten Cache. MoE-Modelle sind für ihre Größe schnell, aber alle Experten müssen trotzdem in den Speicher.
Browser mit vielen Tabs, Docker und Xcode belegen schnell 6–10 GB. Achte in der Aktivitätsanzeige auf den Speicherdruck: Gelb oder Rot heißt, das Modell drückt macOS in den Swap.
Generationen-Atlas
Der Finder kennt alle im Katalog belegten Apple-Silicon-Chipfamilien von M1 bis M6 und unterscheidet aktuelle von gebrauchten Optionen.
Workflow-Finder
Der beste Mac hängt nicht nur vom Modell ab, sondern davon, ob du Code, lange Dokumente, Sprache oder Bilddaten verarbeitest.
Große Coding-Agenten, Repo-Kontext und Tool-Aufrufe.
Balanced 24 GB+ Coding-LLM (32B-Klasse)Lokale Code-Modelle für Patches, Reviews und CLI-Checks.
Context 24–48 GB Lange Dokumente (128K-Context)PDFs, Quellenpakete und lange Kontexte ohne ständiges Kürzen.
Vision 16 GB+ BildanalyseBildanalyse, Screenshots, OCR und leichte Multimodalität.
Audio 8–16 GB Sprache → Text (Whisper)Transkription lokal, schnell und ohne Cloud-Upload.
Daily 16–24 GB Allround für unterwegsMobiler Mix aus Chat, Coding, Recherche und Medien.
FAQ
Bei 4-Bit-Quantisierung und moderatem Kontext: 16 GB Unified Memory für 7B–8B-Modelle, 24–32 GB für 12B–32B, 64 GB für 70B und 96–128 GB für 70B in höherer Präzision oder Modelle ab 100B. Längerer Kontext und parallele Sessions kommen als KV-Cache dazu.
Ja, für 7B–8B-Modelle in Q4/Q5 mit kurzem bis mittlerem Kontext. 12B–14B-Modelle starten zwar, lassen aber wenig Platz für Browser und IDE. 24 GB sind der bequemere Einstieg.
Ja. Eine 70B-Datei in Q4_K_M ist laut llama.cpp etwa 43 GB groß, daher sind 64 GB die erste praktische Stufe mit kurzem Kontext. 96 oder 128 GB lassen Platz für längeren Kontext, höhere Quantisierung und andere Apps.
Teilweise. Bei Apple Silicon teilen sich CPU und GPU einen Speicherpool, die GPU kann also weit mehr Speicher nutzen als eine typische Consumer-Grafikkarte. Denselben Pool nutzen aber auch macOS und alle offenen Apps, deshalb rechnet der Rechner eine Reserve ein.
Bei Q4 mit Ollama: 16 GB reichen für Qwen 3.5 9B und Gemma 4 12B. 24 GB reichen für gpt-oss 20B und, nur mit kurzem Kontext, für Qwen 3.8 27B (August 2026) oder Meta Muse Glimmer 30B (August 2026); mit 32–36 GB laufen beide mit 32K Kontext. gpt-oss 120B braucht 96 GB oder mehr. Modellliste geprüft auf Hugging Face und in der Ollama-Bibliothek am 4. Oktober 2026.
Nein. Pro Token sind nur 3B–4B Parameter aktiv, das macht sie schnell, aber alle Experten müssen im Speicher bleiben. Plane RAM für die vollen 26B bzw. 35B Gewichte; die echte Ersparnis ist ihr kleiner KV-Cache bei langem Kontext.
Nur kleine Modelle. 1B–4B-Textmodelle in Q4, etwa Llama 3.2 3B oder Qwen3 4B, laufen mit kurzem Kontext, weil macOS selbst schon mehrere Gigabyte braucht. Multimodale Modelle wie Gemma 4 E4B sind in Ollama bereits etwa 10 GB groß. Für regelmäßige lokale KI sind 16 GB das praktische Minimum.
Nicht grundsätzlich. Alle laden quantisierte Gewichte, einen KV-Cache und Runtime-Puffer in denselben Unified Memory. Unterschiede kommen vom Quantisierungsformat und vom Standard-Kontext, also bei gleicher Bitbreite und Kontextlänge vergleichen.
Er schätzt, er misst nicht. Er addiert Modellgewichte, KV-Cache, Runtime-Puffer, optionale Zusatzteile wie Vision oder N-Gram-Tabelle und deine App-Reserve und zielt auf höchstens 85 % Speicherauslastung. Runtime-Version, Modellformat und Prompt-Länge verändern den realen Wert.