常见问题 / 起步概念

上下文(ctx)到底是什么?8K 能装多少字?

上下文是模型一次能『看见』的总字数预算,输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500 字。

token 是模型的最小单位,不完全等于字。粗略对照:英文 1 token ≈ 4 个字母 ≈ 0.75 个词;中文 1 个汉字大约 1.2–1.8 token(不同模型的词表差别很大,中文模型通常更省)。所以 8K 上下文放中文大约 4000–5500 字,放英文大约 6000 词。

关键容易被忽略的一点:这 8K 是『你说的话 + 系统提示词 + 它已经答过的内容 + 它正在生成的内容』的总和。多轮聊天里,上下文是一路涨上去的,涨满就会截断最早的内容或者报错。这就是『明明装得下,聊到二十轮就崩』的成因。

本站表格里 8K 上下文那一列写的是『这 8192 个 token 吃多少显存』,不是『8K 能装多少字』——后者就是上面那 4000–5500 字。另外还要扣掉模板开销:聊天格式包装、系统提示词,通常 200–500 token(本站数据里这一项标了『未核实』,是估算)。

还有一点:模型本体有原生上限。Qwen3 系列是 40960(约 40K),GLM-4-9B 是 32768,Phi-4 只有 16384;Gemma 3、Llama 3.1、gpt-oss、Seed-OSS 是 128K 起。显存够 ≠ 能开那么大,把 -c 填超过原生上限属于超纲使用,质量不保证。

条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。

相关问题

KV cache 是什么?为什么上下文那么吃显存?KV cache 是为了不重复计算而存下来的历史注意力数据,它随上下文线性增长,长对话和长文档的显存大户就是它。

延伸阅读

16G 显存有哪些卡→/troubleshoot/context-full-crash/→

起步概念 · 其他条目

能不能跑一个模型,到底只看显存吗?量化是什么?Q4_K_M、Q8_0、IQ3 这些名字什么意思?KV cache 是什么?为什么上下文那么吃显存?tok/s 是多少才够用?我是不是需要很快?稠密模型和 MoE 有什么区别?为什么 30B-A3B 可能比 14B 还快?我内存大(64G/128G),是不是就能跑大模型?
← 量化是什么?Q4_K_M、Q8_0、IQ3 这些名字什么意思?回到全部 40 条KV cache 是什么?为什么上下文那么吃显存? →
这条内容有帮助吗?