常见问题 / 选卡与预算

Mac(M 系列统一内存)能不能跑本地大模型?

能,靠统一内存装得下很大的模型,但带宽只有同级独显的 1/3 到 1/2,所以『能跑很大但很慢』。买 Mac 跑大模型要按带宽而不是内存大小做决定。

Apple 的统一内存让 CPU 和 GPU 共享同一条内存池,带宽对整块芯片是固定的。这意味着 64G 的 Mac 能装下 70B 的 Q4,但读权重的带宽决定了速度上限,通常同价位独显方案的 1/3 到 1/2。

本站的估算引擎按『显存带宽』建模,Mac 的映射口径和独显不同(还需要在系统设置里调 GPU 可用内存上限),所以本站不给 Mac 的容量表结论,只提示两点:① 统一内存不等于显存,速度上限是带宽给的 ② MLX 生态比 GGUF 快,同一台 Mac 上换框架能差 30–50%。

Mac 适合的场景:写作为主的长上下文(Prompt caching 复用 KV,长对话首 token 快)、离线便携、不想折腾驱动。不适合:追求 tok/s、批量跑数据、跑需要 CUDA 的周边工具链。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

相关问题

llama.cpp、Ollama、LM Studio、vLLM 我该用哪个?想控制显存和参数用 llama.cpp;想一条命令搞定用 Ollama;想要图形界面用 LM Studio;想要高并发服务很多人用 vLLM。新手第一站推荐 LM Studio。

延伸阅读

显存档位表→

选卡与预算 · 其他条目

我该配多大的显存?给一条按容量而不是按型号的阶梯16G 显存到底能干什么?(最常被问的一档)『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?站里那些『魔改卡』『共享主机』是什么?能买吗?AMD 的 RX 卡能跑本地大模型吗?比 N 卡差在哪?笔记本能外接显卡跑大模型吗?值得买显卡坞吗?
← 『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?回到全部 40 条站里那些『魔改卡』『共享主机』是什么?能买吗? →
这条内容有帮助吗?