故障排查 / 框架环境
nvidia-smi 显示已经占了 1–2GB,模型装不下
本站未复现 推导 影响:全部 全版本 · Windows / Linux
现象
明明什么都没做,显存已经被用掉 1–2GB;或者关掉浏览器/游戏后仍然没释放干净。
原因
桌面合成器、浏览器硬件加速、其他框架的常驻服务(Ollama 会保留上一个模型在显存里一段时间)、以及上一个进程异常退出没释放。这正是本站容量表按 88% 而不是 100% 算的原因。
按这个顺序处理
- 查是谁占的:任务管理器『性能→GPU→进程』或 nvidia-smi 的进程列表。
- 浏览器关掉硬件加速,或者跑长任务时干脆不开浏览器标签页。
- Ollama 用户:设 OLLAMA_KEEP_ALIVE 控制模型驻留时间,避免旧模型和新模型同时占显存。
- 进程异常退出后显存没释放,重启该服务或(最干脆)注销/重启一次。
- 规划时直接按本站默认水位算,别按标称容量算——16G 当 16G 用是本站最常见的翻车点。
怎么确认解决了
nvidia-smi 的 used 在你起模型前接近 0(或你知道那部分是谁占的、多大),起模型后总占用不超过可用水位。
来源与可信度
条目性质本站依据容量与速度公式推导撰写
是否已在本站机器复现否——请把这条当线索而不是结论
- https://github.com/ggml-org/llama.cpp/discussions/11640 — 讨论:多卡只识别一张/显存被占,对应'已有进程占用显存'判断
- https://build.nvidia.com/playbooks/llama-cpp/troubleshooting — 官方:显存已被占用时的处置,对应'先 nvidia-smi 查占用'
相关条目
Windows 还是 Linux?差别有多大?同样硬件下 Linux 大约能多用 10% 显存(没有桌面合成器吃那块),驱动/权限要额外折腾。新手建议先 Windows 跑通,再决定值不值得换。能不能跑一个模型,到底只看显存吗?看三样:显存决定装不装得下,内存决定装不下时能不能凑合,算力决定跑得多快。显存是唯一没有替代品的。