常见问题 / 用法与提速

主要用中文,该选哪个模型?

中文优先看 Qwen3 系列和 GLM-4-9B;要看图用 Gemma 3;只要英文推理用 Phi-4。词表对中文友好程度会直接影响同样上下文能装多少汉字。

中文能力与参数量无关地与词表、训练语料相关。Qwen3 全系列中文都强,GLM-4-9B 的中文和工具调用在小尺寸里口碑很好,且它只有 2 个 KV 头,4K 上下文只要 0.16G——同样 12G 显存,它能开的上下文比 Qwen3-14B 多出一大截。

Gemma 3 中文一般但多模态和长上下文架构很聪明(滑窗让 32K 只花 2.3G),如果任务是『看长文档 + 英文为主』很合适。Phi-4 推理与数学强,但只有 16K 原生上下文且中文较弱,做中文任务容易翻车。

选完模型还要选量化档:中文任务对低比特量化更敏感(同量化下中文质量下降通常比英文明显),所以如果你必须在 Q4 和 Q3 之间为质量挣扎,优先加显存或选更小参数的模型,而不是压到 Q3 以下。

本站模型清单里每个模型的 KV 常数都取自官方 config.json 并附了链接,参数量取官方命名口径(例如 Mistral Small 3.1 24B 的文本塔实际约 22B,本站按 22B 估算,因为这样算出来的 Q4 权重和真实 GGUF 文件才对得上)。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

相关问题

KV cache 是什么?为什么上下文那么吃显存?KV cache 是为了不重复计算而存下来的历史注意力数据,它随上下文线性增长,长对话和长文档的显存大户就是它。

延伸阅读

模型→16G 显存有哪些卡→

用法与提速 · 其他条目

不花钱让本地模型变快的 5 个开关文档比显存允许的上下文还长怎么办?为什么有的模型开长上下文特别便宜?开了投机解码能快多少?为什么别人 40 tok/s,我只有 18?评测里的 tok/s 是单流还是并发?为什么同一张 4090 有人报 30、有人报 400?都是 27B 的 Qwen3.8-27B、Terminal-RSI、AREX-2,我该下哪个?
← Windows 还是 Linux?差别有多大?回到全部 40 条不花钱让本地模型变快的 5 个开关 →
这条内容有帮助吗?