mac code

在你的 Mac 上运行超出内存容量的模型，每月费用 $0。

我能在我的 Mac 上运行吗？

你的 Mac	RAM	可运行模型	速度
任意 Mac	8 GB	Qwen3.5-9B (Q4_K_M, 5.3 GB), 4K 上下文	16-20 tok/s
任意 Mac	16 GB	Qwen3.5-9B (Q4_K_M, 5.3 GB), 64K 上下文	16-20 LLM/s
Mac mini M4	16 GB	Qwen3.5-35B-A3B (IQ2_M, 10.6 GB)	30 tok/s
Mac mini M4	16 GB	Qwen3-30B-A3B Q4 (17.2 GB) via Expert Sniper	4.3 tok/s
Mac mini M4	16 GB	Qwen3.5-35B-A3B Q4 (19.5 GB) via Expert Sniper	5.4 tok/s
Mac mini M4	16 GB	Qwen3.5-35B-A3B Q4_K_M (22 GB) via Flash Streaming	1.54 tok/s
Mac mini M4	16 GB	Qwen3.5-27B (16.1 GB) via Flash Streaming	0.18 tok/s
Mac mini M4 Pro	48 GB	35B at full Q4 in RAM	30+ tok/s

“我想在我的 M2 16GB 内存上运行 Qwen 27B，但失败了。这不可能实现，对吧？”

其实是可以的。我们将 FFN 权重从 SSD 流式传输，只有 5.5 GB 会占用 RAM。输出结果连贯且保持完整的 4-bit 质量。虽然速度较慢（在 Mac mini M4 上为 0.18 tok/s），但该方法适用于任何 16 GB 内存的 Apple Silicon Mac。没有 2-bit 压缩，没有 mmap 抖动，也没有交换内存导致的崩溃。查看它是如何工作的。

---

快速入门

35B 智能体（推荐 — 在 16 GB 内存下达到 30 tok/s）

这是最快的选项。它使用 llama.cpp 并配合 2-bit 量化 (IQ2_M)，可以完全放入 RAM 中。

brew install llama.cpp
pip3 install rich ddgs --break-system-packages

# 下载模型 (10.6 GB)
python3 -c "
from huggingface_hub import hf_hub_download
hf_hub_download('unsloth/Qwen3.5-35B-A3B-GGUF',
    'Qwen3.5-35B-A3B-UD-IQ2_M.gguf', local_dir='$HOME/models/')
"

# 启动服务器 + 智能体
llama-server \
    --model ~/models/Qwen3.5-35B-A3B-UD-IQ2_M.gguf \
    --port 8000 --host 127.0.0.1 \
    --flash-attn on --ctx-size 12288 \
    --cache-type-k q4_0 --cache-type-v q4_0 \
    --n-gpu-layers 99 --reasoning off -np 1 -t 4

python3 agent.py

带有 64K 上下文的 9B 模型

python3 -c "
from huggingface_hub import hf_hub_download
hf_hub_download('unsloth/Qwen3.5-9B-GGUF',
    'Qwen3.5-9B-Q4_K_M.gguf', local_dir='$HOME/models/')
"

llama-server \
    --model ~/models/Qwen3.5-9B-Q4_K_M.gguf \
    --port 8000 --host 127.0.0.1 \
    --flash-attn on --ctx-size 65536 \
    --cache-type-k q4_0 --cache-type-v q4_0 \
    --n-gpu-layers 99 --reasoning off -t 4

python3 agent.py

---

Flash Streaming

以完整质量运行那些确实无法放入 RAM 的模型。没有 2-bit 压缩，没有 mmap 抖动。

实测结果

下表中的每个数字均在 16 GB 内存的 Mac mini M4 上测得，无预估值。

模型	总大小	RAM 占用	速度	质量
Qwen3-32B (稠密)	18.4 GB	4.5 GB	0.15 tok/s	完整 4-bit
Qwen3.5-27B (稠密混合)	16.1 GB	5.5 GB	0.18 tok/s	完整 4-bit
Qwen3-30B-A3B (MoE)	17.2 GB	8.7 GB	4.3 tok/s	完整 4-bit
Qwen3.5-35B-A3B (MoE)	19.5 GB	8.7 GB	5.4 tok/s	完整 4-bit

所有数据均在 M4 Mac Mini 16 GB 上通过 5 组不同提示词冷启动测得。质量已验证（Canberra, 8.3066, 正确的 Python 代码等）。以上两款模型均使用了：缓存感知路由偏差 (1.0) + 协同激活预取 + 合理大小的 LRU 缓存。bias=1.0 是通用的安全最大值，在两个模型中设置为 1.5 时质量均会下降。

磁盘需求

模型	处理后大小	所需剩余磁盘空间
30B / Coder-30B	17 GB	~20 GB
35B	19 GB	~25 GB
80B	43 GB	~50 GB
122B	~65 GB	~70 GB
235B	~130 GB	~140 GB

对于更大的模型，请使用外置 NVMe 驱动器：

mlx-sniper download qwen3-next-80b -o /Volumes/MySSD/qwen3-next-80b
mlx-sniper run /Volumes/MySSD/qwen3-next-80b -p "hello" -v

Flash Streaming 是如何工作的

根据访问模式对模型进行拆分：

固定在 RAM 中 (4-6 GB)： Attention 权重、嵌入（embeddings）、归一化（norms）和 KV 缓存。加载一次后永久保留。

每生成一个 Token 从 SSD 流式传输： FFN 权重（模型的主体部分）。逐层加载，用于一次矩阵乘法（matmul）后立即丢弃。内存占用始终保持平稳。

对于每个 Token：
  对于每一层：
    1. 运行 Attention（从 RAM 读取 — 即时完成）
    2. 从 SSD 加载 FFN 权重 (~165-221 MB)
    3. 在 GPU 上运行 FFN 矩阵乘法
    4. 丢弃 FFN 权重 — 内存占用保持不变

对于 MoE 模型，第 2 步仅加载 8 个活跃专家 (~14 MB)，而不是全部 256 个。这就是为什么 MoE 速度快 10 倍的原因。

运行 35B MoE 智能体 (1.54 tok/s, 1.42 GB RAM)

这是一个带有网络搜索、Shell 命令和思维链（Chain-of-Thought）的