常见问题 / 起步概念
站里说『显存不够硬盘来凑』,那个 n-gram 表 / Engram 表到底是什么?能真省显存吗?
那是模型里一整块哈希查表(n-gram / Engram 记忆),不是普通权重——查表不是矩阵乘法,可以整块卸到内存甚至 SSD,显存只装骨干。代价是查表走 PCIe 比显存慢,能跑但更慢,本站没测这套的速度。
先把两种 offload 分清,别混。站内讲的第一种是 MoE 专家 offload(见『内存大能不能跑大模型』那条):把不用的专家放内存,llama.cpp 里靠 --n-cpu-moe。本文讲的是另一种——模型里有一整块『哈希查表』(n-gram 记忆 / Engram 记忆),它查的是 n-gram 片段对应的一行参数,是查表不是矩阵乘法,所以可以整块卸到内存甚至 SSD,显存只留骨干。这是 2026 这一代新模型(Flash-Next、DeepSeek-V4.1-Flash)能比上代更省显存的关键。
站内有两条带这种表,数字都是从官方 config.json 核到的、不是估的:Qwen3.8-Flash-Next 带 51B 的 n-gram PLE 表(config:20M 词 × 2560 维 = 51.2B,恰好对上官方说的『125B 骨干 + 51B 表』);DeepSeek-V4.1-Flash 带 196.6B 的 Engram 表(config:2 张 384M × 256 维,恰好对上官方『552B 骨干 + 196.6B Engram』)。表是单独一块,和骨干分开装。
怎么省、代价是什么:Flash-Next 的 125B 骨干 Q4 还要约 75G,得是多卡;但那 51B 的表整块卸到内存/SSD 之后,显存压力降一大截——社区有 IQ2_XS 整包压到 68G、一张 3060 12G 配 16G 内存跑通 decode 22 tok/s 的记录(单源、本站未复现)。DeepSeek 那 196B Engram 同理可以 host offload,官方 vLLM recipe 就是 CPU 卸 Engram + routed experts 来跑,但它的 552B 骨干本身单卡装不下,是多机/共享主机门槛,不是一张卡的事。
『显存不够硬盘来凑』准确的意思是:把不必须常驻显存的那块表卸出去,能装下;但查表每一步都要走 PCIe/内存,比全在显存里慢——它是『装得下』的解,不是『跑得快』的解。本站目前没有这套 offload 的实测 tok/s,上面所有速度数字都是社区或官方自述口径,别当本站实测。
条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。