tok/s 是多少才够用？我是不是需要很快？

中文阅读速度约 5–8 tok/s，所以 15 tok/s 以上就跟得上你阅读；25–40 是舒服，60 以上你反而读不过来。只有批量生成才需要追求高速。

tok/s 是解码阶段每秒吐出的 token 数，也就是『一个字一个字往外蹦』的速度。要区分两个数：首 token 延迟（TTFT，按回车到第一个字出现）由提示词处理速度决定，读长文档时它可能等你十几秒，但一旦开始吐字就正常了。

参考线：8–12 tok/s 能用于偶尔问答，你会觉得慢；15–25 日常聊天舒服；30–60 阅读跟不上但适合多轮；60+ 只在批量跑数据、生成代码文件、做离线任务时有意义。

速度主要由『每 token 需要从显存读多少字节』决定，所以带宽是主瓶颈：公式大致是 tok/s ≈ 带宽 × 效率系数 ÷ 每 token 读取字节数。本站给 5080（960GB/s）和 4060Ti（288GB/s）跑同一个 8B Q4 的估算差 3 倍多，就是这个原因，而不是前者『算力更强所以快』。

注意本站对单流解码设了经验上限（带宽 ≥800GB/s 的卡设 200 tok/s，其余 140）。因为纯带宽公式对小模型会算出 400–500 这种不可能的数——实际会被采样、反分词、层间串行拖住。这个上限是工程估值，等实测数据回填后会继续校准。