常见问题 / 起步概念
能不能跑一个模型,到底只看显存吗?
看三样:显存决定装不装得下,内存决定装不下时能不能凑合,算力决定跑得多快。显存是唯一没有替代品的。
装模型像往抽屉里放东西:权重(模型参数本身)必须先放,剩下的空间才给上下文用。显存满了,框架就把一部分层挪到内存里,这叫 offload——能跑,但内存带宽只有显存的 1/10 到 1/15,速度会断崖式下跌。
所以判断顺序是:① 权重大小 vs 可用显存 ② 剩下的显存够不够你要的上下文 ③ 卡的带宽决定每秒能出多少字。显存不够,加钱也换不到速度;带宽不够,只是慢,不是不能用。
本站容量表里写的『可用显存』不等于显卡标称容量:Windows 桌面会先吃掉 0.5–1.5GB,所以 16G 卡按 88% 即约 14.1G 算,Linux 按 95% 算。很多『别人 16G 能跑我不能跑』的差别就在这里。
条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。
相关问题
量化是什么?Q4_K_M、Q8_0、IQ3 这些名字什么意思?量化就是把每个参数用更少的比特存下来,模型变小变快,质量按档位往下掉。Q8 几乎无损,Q4 是主流甜点位,Q3 已经能听出变笨。我内存大(64G/128G),是不是就能跑大模型?能跑,但会很慢。内存带宽只有显存的 1/10 到 1/15,稠密模型 offload 之后普遍掉到 1–5 tok/s。大内存的正确用法是给 MoE 放专家。