常见问题 / 选卡与预算
16G 显存到底能干什么?(最常被问的一档)
能舒服跑 8B Q8 / 14B Q6_K / 12B Q6_K,能勉强跑 27B–36B 的 Q3 但上下文几乎没有,用 MoE 放内存可以跑 30B 级还很流畅。
这是本站第一张容量推算表,直接给结论(Windows 88% 水位,可用约 14.1G,扣 1G 框架开销):8B Q8_0 权重 8.5G,剩 4.6G,可开约 33K token,是 16G 上质量与上下文兼得的最佳组合;14B Q6_K 权重 11.48G,剩 1.6G ≈ 10.7K;14B Q8_0 权重 14.88G,只剩 0.13G ≈ 850 token —— 所以『14B 原则上跑 Q8』在 16G 上不成立,甜点位是 Q6_K。
12B(Gemma 3 12B)Q8_0 权重 12.75G,剩 0.33G ≈ 2.4K,同样出局;Q6_K 权重 9.84G 剩 3.3G,得益于它 48 层里只有 8 层要全量 KV,可开上下文比 14B 还多。
27B/32B/36B 这一档在 16G 上是『理论可跑、实际别跑』:27B Q4_K_M 权重 16.2G 直接超过整卡容量;IQ3_M 权重 11.6G 剩 1.5G ≈ 6K;32B IQ3_XXS 权重 12.1G 剩 1.0G ≈ 3.6K;36B IQ3_XXS 权重 13.6G 加开销已经顶到水位线,装不下。
16G 上真正的隐藏冠军是 MoE:gpt-oss-20B(21B 总/3.6B 激活,KV 4K 只要 0.097G)MXFP4 权重约 11.3G,剩 1.8G 且几乎不涨,速度快;Qwen3-30B-A3B 权重 13–18G,整卡塞不下就走内存放专家,25–35 tok/s 很流畅。
完整表格、每档 KV 精度切换、8K/16K 两列都在 16G 容量推算表里。
条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。