故障排查 / 框架环境

nvidia-smi 显示已经占了 1–2GB,模型装不下

本站未复现 推导 影响:全部 全版本 · Windows / Linux

现象

明明什么都没做,显存已经被用掉 1–2GB;或者关掉浏览器/游戏后仍然没释放干净。

原因

桌面合成器、浏览器硬件加速、其他框架的常驻服务(Ollama 会保留上一个模型在显存里一段时间)、以及上一个进程异常退出没释放。这正是本站容量表按 88% 而不是 100% 算的原因。

按这个顺序处理

  1. 查是谁占的:任务管理器『性能→GPU→进程』或 nvidia-smi 的进程列表。
  2. 浏览器关掉硬件加速,或者跑长任务时干脆不开浏览器标签页。
  3. Ollama 用户:设 OLLAMA_KEEP_ALIVE 控制模型驻留时间,避免旧模型和新模型同时占显存。
  4. 进程异常退出后显存没释放,重启该服务或(最干脆)注销/重启一次。
  5. 规划时直接按本站默认水位算,别按标称容量算——16G 当 16G 用是本站最常见的翻车点。

怎么确认解决了

nvidia-smi 的 used 在你起模型前接近 0(或你知道那部分是谁占的、多大),起模型后总占用不超过可用水位。

来源与可信度

条目性质本站依据容量与速度公式推导撰写
是否已在本站机器复现否——请把这条当线索而不是结论

相关条目

Windows 还是 Linux?差别有多大?同样硬件下 Linux 大约能多用 10% 显存(没有桌面合成器吃那块),驱动/权限要额外折腾。新手建议先 Windows 跑通,再决定值不值得换。能不能跑一个模型,到底只看显存吗?看三样:显存决定装不装得下,内存决定装不下时能不能凑合,算力决定跑得多快。显存是唯一没有替代品的。

框架环境 · 其他条目

同一个模型在 Ollama 和 llama.cpp 上速度/显存差很多魔改卡(改大显存/数据卡)驱动更新后识别异常LoRA/微调 Loss 不降或发散设了 CUDA_VISIBLE_DEVICES 却没生效 / 指定卡不工作模型下载慢到放弃 / Connection timed out / 下到一半就断
回到故障排查首页查容量是否本来就不够上传实测数据
这条内容有帮助吗?