故障排查 / 越用越慢

刚起来很快,跑久了越来越慢

本站未复现 改写 影响:llama.cpp / Ollama 全版本 · Windows / Linux

现象

同一模型同一参数,第一次跑 30 tok/s,两小时后掉到 10 以下;或者跨天不用后重启才恢复。

原因

四类原因:① 上下文真的涨满了(每轮都在增加 KV,decode 要读的 KV 变多)② 散热到温度墙,GPU 降频 ③ 内存/显存碎片与框架泄漏,长时间驻留后分配效率下降 ④ 其他程序陆续占了显存。

按这个顺序处理

  1. 先看是不是①:开新会话再测一次速度,如果立刻回到正常,那就是历史累积的 KV,属于物理现象不是故障;处理办法见 context-full-crash。
  2. 查频率与温度:nvidia-smi --query-gpu=name,memory.used,temperature.gpu,clocks.sm --format=csv -l 2,跑一段时间后对照 clocks 是否下降。
  3. 长时间任务定时重启服务,这是当前本地推理工具链下最省事的做法(别指望框架永远不泄漏)。
  4. 确保散热风道:笔记本和小型主机最容易撞温度墙。
  5. 看显存占用是否随时间上涨(占用上涨 + 速度下降 = 泄漏或缓存堆积)。

怎么确认解决了

重启服务并开新会话后速度恢复;如果只有重启才恢复,请在反馈里告诉我们是哪个框架哪个版本,这是本站最想收集的实测线索之一。

来源与可信度

条目性质依据公开事实与社区普遍报告,用本站自己的话重写(未搬运任何他人文章段落)
是否已在本站机器复现否——请把这条当线索而不是结论

相关条目

刚装上好好的,聊十几轮就崩或开始忘事装不下 · 前几轮正常,越聊越慢,然后要么报错退出,要么模型开始『忘记』你最早说的话,或者答话重复。tok/s 是多少才够用?我是不是需要很快?中文阅读速度约 5–8 tok/s,所以 15 tok/s 以上就跟得上你阅读;25–40 是舒服,60 以上你反而读不过来。只有批量生成才需要追求高速。
回到故障排查首页查容量是否本来就不够上传实测数据
这条内容有帮助吗?