常见问题 / 用法与提速
主要用中文,该选哪个模型?
中文优先看 Qwen3 系列和 GLM-4-9B;要看图用 Gemma 3;只要英文推理用 Phi-4。词表对中文友好程度会直接影响同样上下文能装多少汉字。
中文能力与参数量无关地与词表、训练语料相关。Qwen3 全系列中文都强,GLM-4-9B 的中文和工具调用在小尺寸里口碑很好,且它只有 2 个 KV 头,4K 上下文只要 0.16G——同样 12G 显存,它能开的上下文比 Qwen3-14B 多出一大截。
Gemma 3 中文一般但多模态和长上下文架构很聪明(滑窗让 32K 只花 2.3G),如果任务是『看长文档 + 英文为主』很合适。Phi-4 推理与数学强,但只有 16K 原生上下文且中文较弱,做中文任务容易翻车。
选完模型还要选量化档:中文任务对低比特量化更敏感(同量化下中文质量下降通常比英文明显),所以如果你必须在 Q4 和 Q3 之间为质量挣扎,优先加显存或选更小参数的模型,而不是压到 Q3 以下。
本站模型清单里每个模型的 KV 常数都取自官方 config.json 并附了链接,参数量取官方命名口径(例如 Mistral Small 3.1 24B 的文本塔实际约 22B,本站按 22B 估算,因为这样算出来的 Q4 权重和真实 GGUF 文件才对得上)。
条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。