为什么有的模型开长上下文特别便宜？

因为层数、KV 头数、每头维度这三个数决定 KV，和参数量不成比例。滑窗架构更把大部分层的 KV 锁死在固定窗口里。

本站核实过的四个极端对照（每 4K 上下文的 KV，FP16）：gpt-oss-20B 0.10G、GLM-4-9B 0.16G、Gemma 3 12B 0.56G、Qwen3-14B 0.63G、Phi-4 0.78G、Qwen3-32B 1.00G。注意 GLM-4-9B 参数量比 Gemma 3 4B 大，KV 却更省；而 Qwen3-4B 参数量只有 32B 的 1/8，KV 是它的 56%。

差别来自结构：KV = 2 × 层数 × KV头数 × 头维 × 精度字节 × token 数。GPT 系列的 gpt-oss 只有 24 层、8 头、头维 64，还有一半层用 128 token 滑窗，所以三个因子全都小。GLM-4-9B 40 层但只有 2 个 KV 头（MQA 风格），所以极省。

滑窗混合是另一种省法：Gemma 3 12B 有 48 层，但只有 8 层需要全量 KV，另外 40 层的 KV 永远锁在 1024 token。所以它的 KV 增长斜率只有同级稠密模型的 1/6，32K 上下文时是 2.35G，而按参数量线性猜会得到 4.5G。

实用结论：同一个显存预算下想开更长上下文，优先选『层数少、KV 头少、带滑窗』的模型，而不是无脑选参数量小的。参数量决定权重，结构决定 KV，两件事互相独立。