上下文一长就开始答非所问

短对话很聪明，塞进长文档后开始忽略你的问题、只复述开头结尾、或者把文档中间的信息当成没有。

两件事叠加：模型本身对长上下文中间部分的利用能力就弱（社区通称 lost in the middle），加上你把预算塞满后，模型的有效注意力被稀释。本地小模型这一点比在线旗舰明显得多。

1. 把关键问题和你最关心的段落放在输入的开头或结尾，不要埋在中间。
2. 不要『整本书丢进去问一句话』：先检索/筛出相关 3–5 段，8K 精准输入通常比 64K 全文问得好。
3. 分批总结再汇总（map-reduce 式），每批只做局部摘要。
4. 换对长上下文友好的结构：Gemma 3 系列的滑窗混合（48 层里只有 8 层要全量 KV）让同样显存能开更长；GLM-4-9B 因只有 2 个 KV 头也便宜。
5. 接受预期管理：16G 显存这个量级的模型，长文档能力本来就有限，见『本地小模型和在线差距在哪』。

同一段材料，改成筛选后 8K 输入 vs 全文 40K 输入各问一次，比较回答是否命中；本站建议把这类对比结果提交回来当实测数据。