温度、top-p、重复惩罚这些参数到底怎么调？

温度管随机性（0 = 贪心、最稳）、top-p 管候选范围、重复惩罚管复读。它们只影响输出分布，不影响显存占用和速度——换参数不会让模型跑得更快。

结论先行：这三个参数只改输出分布，不改显存、不改速度。先把量化档和上下文定下来，再调采样。

温度（temperature）：0 是贪心解码，每步选概率最高的词，同一输入同一输出、可复现；越高越随机。日常聊天 0.7–0.9，代码补全与结构化抽取 0–0.3，做基准测试固定 0——站内那组 NVIDIA RTX 4090 24G 的 ExLlamaV3 实测就是 temperature 0，六档 needle 全部 PASS。

top-p（核采样）：只从累计概率前 p 的候选里挑，p=1 是全放开；和温度一起用，一般 top-p 0.9 配温度 0.7–0.9。小模型通常把 top-p 收到 0.9 以下更稳。

重复惩罚（repeat penalty）与频率 / 存在惩罚：抑制复读。调过头会伤数学与代码——数字、公式、变量名本来就该重复出现，惩罚太狠会改写答案。经验值是 1.05–1.1，别往 1.3 以上调。

thinking / 推理模式另说：开了之后模型会先写一长串思考过程，这部分 token 照样算进上下文预算、照样占 KV，还会让首字延迟变长。本站的排查条目里专门有一条「thinking 吃掉 token 预算」。