22G 显存有哪些卡

这一档站内共 1 张卡,按带宽从高到低排。点一张卡看它的完整结论:能跑哪些模型、什么量化、能开多大上下文、大概多快。

NVIDIA RTX 2080 Ti 22G(魔改)魔改 · 616 GB/s · 魔改(风险见卡页)(二手 ¥2,350–2,698·09-18)
上下文(ctx)到底是什么?8K 能装多少字?上下文是模型一次能『看见』的总字数预算,输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500 字。我该配多大的显存?给一条按容量而不是按型号的阶梯8G 只能玩 4B–8B 且上下文紧;16G 是本地第一台最省事的容量点;24G 能认真用 32B;48G 起才谈得上 70B。别买 8G 新卡。16G 显存到底能干什么?(最常被问的一档)能舒服跑 8B Q8 / 14B Q6_K / 12B Q6_K,能勉强跑 27B–36B 的 Q3 但上下文几乎没有,用 MoE 放内存可以跑 30B 级还很流畅。『小模型跑 Q8、大模型跑 Q4、再大跑 Q3』这个说法对不对?方向对,但要按显存档位落地。4B–9B 跑 Q8 确实合适;12B–14B 在 16G 上 Q8 会把上下文挤光,Q6_K 才是甜点;27B+ 在 16G 上 Q4 根本塞不进去。Windows 还是 Linux?差别有多大?同样硬件下 Linux 大约能多用 10% 显存(没有桌面合成器吃那块),驱动/权限要额外折腾。新手建议先 Windows 跑通,再决定值不值得换。

换个显存档位

4G6G8G10G11G12G16G20G22G24G32G48G64G96G128G256G512G
这条内容有帮助吗?