故障排查 / 装不下

Ollama 上下文被限 4096 / OLLAMA_CONTEXT_LENGTH 不生效

本站未复现 改写 影响:Ollama >= 0.3.x · Windows / Linux / macOS

报错原文

context length capped at 4096

这段字符串可以直接粘到 站内搜索 或外部搜索引擎里找。

现象

Ollama 默认上下文卡在 4096,设了 OLLAMA_CONTEXT_LENGTH 不生效或一放大就 OOM。

原因

Ollama 对小于 24GB 显存卡默认限 4096;环境变量需在 ollama serve 前设置且重启服务才生效;Docker 环境下须在容器内设置;上下文翻倍≈显存占用翻倍。

按这个顺序处理

  1. export OLLAMA_CONTEXT_LENGTH=16384,然后在当前用户/服务里重启 ollama serve;
  2. Docker 环境下把变量传进容器(--env 或 compose 的 environment);
  3. 确认显存足够:上下文翻倍≈显存占用翻倍,显存不够设大也 OOM;
  4. API 调用可在每请求带 context 参数临时覆盖

怎么确认解决了

ollama 服务重启后上下文超过 4096,长文本能完整进入而非被截。

来源与可信度

条目性质依据公开事实与社区普遍报告,用本站自己的话重写(未搬运任何他人文章段落)
是否已在本站机器复现否——请把这条当线索而不是结论

相关条目

刚装上好好的,聊十几轮就崩或开始忘事装不下 · 前几轮正常,越聊越慢,然后要么报错退出,要么模型开始『忘记』你最早说的话,或者答话重复。上下文(ctx)到底是什么?8K 能装多少字?上下文是模型一次能『看见』的总字数预算,输入和它的回答共用这个预算。8K token 大约相当于中文 4000–5500 字。

装不下 · 其他条目

CUDA out of memory / ggml: failed to allocate刚装上好好的,聊十几轮就崩或开始忘事参数调到最低还是装不下:权重本身就超容量微调训练 CUDA out of memory(QLoRA/LoRA 显存爆)
回到故障排查首页查容量是否本来就不够上传实测数据
这条内容有帮助吗?