Eigene Messungen
Eigene MLX-Benchmarks: 28 lokale Modelle auf dem Mac mini M4
Wir haben 28 öffentlich verfügbare MLX-Modelle lokal auf einem Mac mini M4 mit 32 GB Unified Memory durch 16 Benchmarks geschickt, insgesamt 164.348 beantwortete Fragen. Datenstand: 31. Oktober 2026.
- 28Modelle
- 16Benchmarks
- 164.348Fragen
- M4 · 32 GBein Testrechner
Was die Daten zeigen
- Spitze nach Durchschnitt aller Benchmarks: gpt oss safeguard 20b MLX MXFP4 (73,6 %), Qwen3.5 9B MLX 4bit (71,7 %), gemma 4 12b coder fable5 composer2.5 8bit (71,5 %).
- Beste je Kategorie: Wissen: gpt oss safeguard 20b MLX MXFP4 (68,9 %) · Reasoning: gemma 4 12b coder fable5 composer2.5 8bit (84,0 %) · Mathe: gpt oss safeguard 20b MLX MXFP4 (90,0 %) · Coding: MLX Qwopus3.5 27B v3 4bit (71,1 %) · Sicherheit: Qwen3.5 9B MLX 4bit (92,0 %)
- Das Basismodell Qwen3.5 9B (4-Bit) erreicht 71,7 %. 6 Community-Distills derselben 9B-Basis („Claude“-, „Gemini“- oder „GLM“-Distill, Qwopus) liegen nur bei 34,0 bis 40,7 %. Ein Teil des Abstands kann am Testformat liegen: Kurze Antwortlimits benachteiligen Modelle, die vor der Antwort lange „nachdenken“.
- Größer ist nicht automatisch besser: Qwen3.5 9B in 4-Bit liegt in diesem Test deutlich vor Gemma 3 27B und Qwen3.6 35B A3B in 2-Bit-Quantisierung und vor Qwopus3.5 27B in 4-Bit.
Alle Ergebnisse
Genauigkeit in Prozent. Ø = Mittel der Benchmark-Werte, Kategorien = Mittel ihrer Benchmarks. „Fragen“ = alle beantworteten Fragen des Modells, „min.“ = kleinste Stichprobe in einem Benchmark. Alle Einzelwerte als CSV
| # | Modell | Ø | Wissen | Reasoning | Mathe | Coding | Sicherheit | Fragen (min.) | Abdeckung |
|---|---|---|---|---|---|---|---|---|---|
| 1 | gpt oss safeguard 20b MLX MXFP4 GPT-OSS (20B, Aug 2025) · MXFP4 | 73,6 | 68,9 | 69,0 | 90,0 | 68,9 | 85,0 | 1.670 (30) | 16/16 |
| 2 | Qwen3.5 9B MLX 4bit Qwen3 · 4bit | 71,7 | 67,0 | 79,7 | 80,0 | 49,6 | 92,0 | 2.188 (30) | 16/16 |
| 3 | gemma 4 12b coder fable5 composer2.5 8bit Gemma 4 12B (Google, coding fine-tune) · 8bit | 71,5 | 65,9 | 84,0 | 55,7 | 62,9 | 88,9 | 35.082 (50) | 16/16 |
| 4 | gemma 4 12B it 4bit Gemma 4 (Google, instruction-tuned) · 4bit | 66,9 | 61,6 | 79,0 | 54,0 | 55,6 | 85,5 | 790 (30) | 16/16 |
| 5 | gemma 4 12b coder fable5 composer2.5 4bit Gemma 4 12B (Google, coding fine-tune) · 4bit | 66,6 | 60,5 | 80,4 | 52,2 | 56,6 | 84,0 | 5.281 (100) | 16/16 |
| 6 | Qwen3 4B Gemini Flash Distilled Instruct qx86 hi mlx Qwen3 · qx86 | 65,5 | 60,3 | 72,7 | 58,8 | 56,7 | 83,7 | 5.281 (100) | 16/16 |
| 7 | GLM 4.7 Flash MLX 6bit GLM-4 (Zhipu AI) · 6bit | 62,1 | 55,5 | 67,5 | 53,3 | 54,4 | 88,3 | 1.450 (30) | 16/16 |
| 8 | gpt oss claude mlx GPT-OSS (OpenAI open-source decoder, Aug 2025) · other | 51,1 | 40,6 | 53,5 | 58,0 | 45,6 | 74,0 | 2.098 (30) | 16/16 |
| 9 | Mistral Nemo 2407 12B Thinking Claude Gemini GPT5.2 Uncensored HERETIC qx86 hi mlx Mistral Nemo (Jul 2024) · qx86 | 51,1 | 41,9 | 61,3 | 65,0 | 30,0 | 71,0 | 4.367 (50) | 16/16 |
| 10 | Qwen3.5 2b Kimi and Opus Distillation MLX 8bit Qwen3.5-2B (24L, 2048h) · 8bit | 49,5 | 49,2 | 60,4 | 36,8 | 30,4 | 70,2 | 5.281 (100) | 16/16 |
| 11 | MiniCPM5 1B OptiQ 4bit MiniCPM5 (1B) · 4bit | 45,5 | 35,7 | 51,0 | 59,0 | 30,7 | 68,0 | 2.650 (50) | 16/16 |
| 12 | MLX Qwen3.5 9B GLM5.1 Distill v1 bf16 Qwen3.5 (32L, 4096h) · bf16 | 40,7 | 35,4 | 39,0 | 39,0 | 54,4 | 38,0 | 1.887 (30) | 16/16 |
| 13 | MLX Qwopus3.5 27B v3 4bit Qwen3.5 (LoRA fine-tuned, scaled to 27B) · 4bit | 40,7 | 37,4 | 30,8 | 38,0 | 71,1 | 26,0 | 770 (30) | 16/16 |
| 14 | MLX Qwen3.5 9B GLM5.1 Distill v1 6bit Qwen3.5 · 6bit | 37,3 | 30,0 | 33,0 | 39,0 | 52,2 | 40,0 | 970 (30) | 16/16 |
| 15 | MLX Qwopus3.5 9B v3 8bit Qwen3.5 (LoRA fine-tuned) · 8bit | 37,1 | 27,7 | 26,8 | 41,0 | 70,0 | 28,0 | 925 (5) | 16/16 |
| 16 | MLX Qwen3.5 9B Gemini 3.1 Pro Reasoning Distill bf16 Qwen3.5 (32L, 4096h) · bf16 | 36,8 | 19,0 | 50,3 | 25,0 | 62,2 | 28,0 | 755 (5) | 16/16 |
| 17 | Qwopus GLM 18B Healed MLX 4bit Qwen3.5 · 4bit | 35,0 | 30,0 | 30,2 | 39,0 | 53,3 | 26,0 | 595 (5) | 16/16 |
| 18 | MLX Qwopus3.5 9B v3 4bit Qwen3.5 (LoRA fine-tuned) · 4bit | 34,0 | 22,9 | 27,3 | 37,0 | 62,2 | 30,0 | 1.670 (30) | 16/16 |
| 19 | Qwen3.5 0.8B OptiQ 4bit Qwen3 · 4bit | 32,0 | 26,9 | 44,0 | 30,0 | 15,3 | 48,0 | 59.979 (50) | 16/16 |
| 20 | HY MT1.5 1.8B 4bit HY-MT1.5 (small multilingual transformer, 1.8B) · 4bit | 27,6 | 27,5 | 35,9 | 19,2 | 7,5 | 49,5 | 8.431 (200) | 16/16 |
| 21 | LocateAnything 3B 4bit LocateAnything (compact vision-grounded localizer, 3B) · 4bit | 16,3 | 18,5 | 29,0 | 8,0 | 0,0 | 18,0 | 2.650 (50) | 16/16 |
| 22 | DeepSeek Prover V2 7B 4bit DeepSeek-Prover-V2 (Lean 4 prover) · 4bit | 10,9 | 14,4 | 6,9 | 32,8 | 0,0 | 5,0 | 4.340 (30) | 16/16 |
| 23 | Gemma 3 27b it Uncensored HERETIC Gemini Deep Reasoning mlx 2Bit Gemma 3 · 2Bit | 10,5 | 6,7 | 18,3 | 9,8 | 0,0 | 21,3 | 9.198 (30) | 16/16 |
| 24 | PaddleOCR VL 8bit PaddleOCR-VL (Baidu PaddlePaddle, vision-language) · 8bit | 2,5 | 0,0 | 10,0 | 0,0 | 0,0 | 0,0 | 2.650 (50) | 16/16 |
| – | Qwen3.6 35B A3B TurboQuant MLX 2bit Qwen3.6 (MoE) · 2bit | 19,8 | 19,8 | 31,5 | 5,0 | 0,0 | 31,0 | 1.490 (30) | 15/16 |
| – | DeepSeek R1 0528 Qwen3 8B MLX 4bit Qwen3-8B-Base · 4bit | 13,3 | 16,0 | 0,5 | 52,0 | 0,0 | 0,0 | 790 (30) | 14/16 |
| – | MLX Qwen3.5 9B Claude 4.6 Opus Reasoning Distilled 4bit Qwen3.5 · 4bit | 35,9 | 33,4 | 25,2 | 28,0 | 71,7 | 0,0 | 640 (30) | 13/16 |
| – | Qwen3 4B Thinking 2507 Gemini 2.5 Flash Lite Preview Distill Heretic qx86 hi mlx Qwen3 · qx86 | 20,5 | 24,0 | 33,3 | 0,0 | 10,0 | 21,0 | 470 (30) | 11/16 |
So haben wir gemessen
- Hardware: ein Mac mini M4 mit 32 GB Unified Memory. Alle Läufe lokal, keine Cloud.
- Runtime: oMLX, ein lokaler OpenAI-kompatibler Server für MLX-Modelle, angesprochen über Chat Completions.
- Einstellungen: Temperatur 0 (deterministisch), kurze Antwortlimits für Auswahlfragen (10 Tokens) und längere für Mathe und Code (bis 512 Tokens).
- Wertung: Genauigkeit = richtige Antworten geteilt durch gestellte Fragen, je Benchmark.
- Benchmarks (16): MMLU, JMMLU, KMMLU, MMLU-Pro, CMMLU, HellaSwag, WinoGrande, ARC-C, TruthfulQA, GSM8K, MathQA, MBPP, HumanEval, LiveCode, BBQ, Safety.
- Modelle: öffentlich auf Hugging Face verfügbare MLX-Quantisierungen; Quantisierung steht unter dem Modellnamen. Private Fine-Tunes sind nicht enthalten.
Grenzen der Daten
- Die Stichproben sind unterschiedlich groß: 244 von 437 Messzellen beruhen auf weniger als 100 Fragen. Bei 30 Fragen liegt die statistische Unsicherheit bei rund ±15 bis 18 Prozentpunkten. Kleine Abstände zwischen Modellen sind deshalb kein Beleg für einen echten Unterschied.
- Die Werte sind nicht mit Herstellerangaben vergleichbar: andere Prompts, Teilmengen, Quantisierung und Antwortlimits.
- Gemessen wurde Antwortqualität, nicht Geschwindigkeit. Tokens pro Sekunde und Speicherbedarf stehen im RAM-Rechner und in den Modellartikeln.
- Modelle mit unvollständiger Abdeckung stehen ohne Rang am Ende der Tabelle.
Weiter mit
- RAM-Rechner: Passt das Modell in deinen Mac?
- Beste offene LLMs für den Mac 2026
- Welcher Mac für lokale KI?
Die Daten stehen unter CC BY 4.0: Weiterverwendung mit Quellenangabe „KI auf dem Mac (ai-on-mac.com)“.