RTX 4090 48G 跑 4B 模型，能跑多少 token？
口径：Windows 水位（WDDM 桌面合成器实测占用 0.5–1.5GB，取 12% 余量）＋1G 框架开销；速度 = 带宽×效率÷每 token 读取字节数，粗算 ±30%，非实测。实测投稿见页尾。
量化 × 上下文 × 状态 × 估算速度
| 上下文 | 量化档 | 权重 G | KV G | 总需求 G | 状态 | 估算 tok/s（±30%） | 框架建议 |
|---|---|---|---|---|---|---|---|
| 4K | Q8_0 | 4.3 | 0.56 | 5.8 | 流畅 | 121–170 | llama.cpp 单卡即可；多并发换 vLLM |
| 16K | Q8_0 | 4.3 | 2.25 | 7.5 | 流畅 | 83–115 | llama.cpp 单卡即可；多并发换 vLLM |
| 32K | Q8_0 | 4.3 | 4.5 | 9.8 | 流畅 | 59–81 | llama.cpp 单卡即可；多并发换 vLLM |
| 64K 超原生·rope外推 | Q8_0 | 4.3 | 9 | 14.3 | 流畅 | 37–50 | llama.cpp 单卡即可；多并发换 vLLM |
| 128K 超原生·rope外推 | Q8_0 | 4.3 | 18 | 23.3 | 流畅 | 21–29 | llama.cpp 单卡即可；多并发换 vLLM |
| 256K 超原生·rope外推 | Q8_0 | 4.3 | 36 | 41.3 | 能跑但紧 | 12–16 | llama.cpp 单卡（降 KV 量化可再 25%） |
| 4K | Q6_K | 3.3 | 0.56 | 4.8 | 流畅 | 150–200 | llama.cpp 单卡即可；多并发换 vLLM |
| 16K | Q6_K | 3.3 | 2.25 | 6.5 | 流畅 | 96–132 | llama.cpp 单卡即可；多并发换 vLLM |
| 32K | Q6_K | 3.3 | 4.5 | 8.8 | 流畅 | 65–89 | llama.cpp 单卡即可；多并发换 vLLM |
| 64K 超原生·rope外推 | Q6_K | 3.3 | 9 | 13.3 | 流畅 | 40–53 | llama.cpp 单卡即可；多并发换 vLLM |
| 128K 超原生·rope外推 | Q6_K | 3.3 | 18 | 22.3 | 流畅 | 22–30 | llama.cpp 单卡即可；多并发换 vLLM |
| 256K 超原生·rope外推 | Q6_K | 3.3 | 36 | 40.3 | 能跑但紧 | 12–16 | llama.cpp 单卡（降 KV 量化可再 25%） |
| 4K | Q5_K_M | 2.8 | 0.56 | 4.4 | 流畅 | 170–200 | llama.cpp 单卡即可；多并发换 vLLM |
| 16K | Q5_K_M | 2.8 | 2.25 | 6.1 | 流畅 | 104–143 | llama.cpp 单卡即可；多并发换 vLLM |
| 32K | Q5_K_M | 2.8 | 4.5 | 8.3 | 流畅 | 69–93 | llama.cpp 单卡即可；多并发换 vLLM |
| 64K 超原生·rope外推 | Q5_K_M | 2.8 | 9 | 12.8 | 流畅 | 41–55 | llama.cpp 单卡即可；多并发换 vLLM |
| 128K 超原生·rope外推 | Q5_K_M | 2.8 | 18 | 21.8 | 流畅 | 23–30 | llama.cpp 单卡即可；多并发换 vLLM |
| 256K 超原生·rope外推 | Q5_K_M | 2.8 | 36 | 39.8 | 能跑但紧 | 12–16 | llama.cpp 单卡（降 KV 量化可再 25%） |
| 4K | Q4_K_M | 2.4 | 0.56 | 4 | 流畅 | 192–200 | llama.cpp 单卡即可；多并发换 vLLM |
| 16K | Q4_K_M | 2.4 | 2.25 | 5.7 | 流畅 | 112–153 | llama.cpp 单卡即可；多并发换 vLLM |
| 32K | Q4_K_M | 2.4 | 4.5 | 7.9 | 流畅 | 72–98 | llama.cpp 单卡即可；多并发换 vLLM |
| 64K 超原生·rope外推 | Q4_K_M | 2.4 | 9 | 12.4 | 流畅 | 42–57 | llama.cpp 单卡即可；多并发换 vLLM |
| 128K 超原生·rope外推 | Q4_K_M | 2.4 | 18 | 21.4 | 流畅 | 23–31 | llama.cpp 单卡即可；多并发换 vLLM |
| 256K 超原生·rope外推 | Q4_K_M | 2.4 | 36 | 39.4 | 能跑但紧 | 12–16 | llama.cpp 单卡（降 KV 量化可再 25%） |
| 4K | IQ4_XS | 2.1 | 0.56 | 3.7 | 流畅 | 200–200 | llama.cpp 单卡即可；多并发换 vLLM |
| 16K | IQ4_XS | 2.1 | 2.25 | 5.4 | 流畅 | 118–161 | llama.cpp 单卡即可；多并发换 vLLM |
| 32K | IQ4_XS | 2.1 | 4.5 | 7.6 | 流畅 | 74–101 | llama.cpp 单卡即可；多并发换 vLLM |
| 64K 超原生·rope外推 | IQ4_XS | 2.1 | 9 | 12.1 | 流畅 | 43–58 | llama.cpp 单卡即可；多并发换 vLLM |
| 128K 超原生·rope外推 | IQ4_XS | 2.1 | 18 | 21.1 | 流畅 | 23–31 | llama.cpp 单卡即可；多并发换 vLLM |
| 256K 超原生·rope外推 | IQ4_XS | 2.1 | 36 | 39.1 | 能跑但紧 | 12–16 | llama.cpp 单卡（降 KV 量化可再 25%） |
| 4K | IQ3_K | 1.8 | 0.56 | 3.3 | 流畅 | 200–200 | llama.cpp 单卡即可；多并发换 vLLM |
| 16K | IQ3_K | 1.8 | 2.25 | 5 | 流畅 | 127–174 | llama.cpp 单卡即可；多并发换 vLLM |
| 32K | IQ3_K | 1.8 | 4.5 | 7.3 | 流畅 | 78–105 | llama.cpp 单卡即可；多并发换 vLLM |
| 64K 超原生·rope外推 | IQ3_K | 1.8 | 9 | 11.8 | 流畅 | 44–59 | llama.cpp 单卡即可；多并发换 vLLM |
| 128K 超原生·rope外推 | IQ3_K | 1.8 | 18 | 20.8 | 流畅 | 23–31 | llama.cpp 单卡即可；多并发换 vLLM |
| 256K 超原生·rope外推 | IQ3_K | 1.8 | 36 | 38.8 | 能跑但紧 | 12–16 | llama.cpp 单卡（降 KV 量化可再 25%） |
| 4K | IQ3_XXS | 1.5 | 0.56 | 3.1 | 流畅 | 200–200 | llama.cpp 单卡即可；多并发换 vLLM |
| 16K | IQ3_XXS | 1.5 | 2.25 | 4.8 | 流畅 | 134–182 | llama.cpp 单卡即可；多并发换 vLLM |
| 32K | IQ3_XXS | 1.5 | 4.5 | 7 | 流畅 | 81–109 | llama.cpp 单卡即可；多并发换 vLLM |
| 64K 超原生·rope外推 | IQ3_XXS | 1.5 | 9 | 11.5 | 流畅 | 45–60 | llama.cpp 单卡即可；多并发换 vLLM |
| 128K 超原生·rope外推 | IQ3_XXS | 1.5 | 18 | 20.5 | 流畅 | 24–32 | llama.cpp 单卡即可；多并发换 vLLM |
| 256K 超原生·rope外推 | IQ3_XXS | 1.5 | 36 | 38.5 | 能跑但紧 | 12–16 | llama.cpp 单卡（降 KV 量化可再 25%） |
KV 列按模型架构常数实算（全注意力层线性，36 层中 36 层需全量 KV）；粗算口径，误差 ±30%，标注 超原生 的行需要模型本身支持 rope 外推才真实可用。
实测锚点：这个组合已有的真机数字
本组合暂无真机记录。上表全是公式推算——不是我们藏着实测，是确实还没有。有这个组合真机输出的同学，上传实测数据，核实后上表并署名。
投机解码
LLaMA 系可用外置 draft 小模型投机解码：llama.cpp 加 --model-draft，vLLM 用 --speculative-config；本模型无原生 MTP 层。
四大主流框架怎么跑这个组合
| 框架 | 方式 | 显存开销 | 量化支持 | 启动命令模板 |
|---|---|---|---|---|
| llama.cpp | CLI / llama-server | 约 0.3–1.0G | GGUF 全系（IQ2_XXS…Q8_0） | llama-server -m <model>.gguf -ngl 99 -c 32768 --cache-type-k q8_0 |
| vLLM | 服务化 / 多并发 | 约 1–2G | AWQ / GPTQ / FP8 / GGUF（新版） | vllm serve <HF-repo> --max-model-len 32768 --gpu-memory-utilization 0.92 |
| Ollama | 一键桌面 | 约 0.5–1.5G | Q4_K_M / Q8_0 等预设档 | ollama run qwen3:8b |
| LM Studio | 图形界面 | 约 1–2G | GGUF 主流档 | （界面加载 GGUF 即可，无命令行） |
量化档最全、显存最省；单流速度上限高，多并发弱。投机解码用 --model-draft 小 draft 模型。 并发吞吐高、PagedAttention 省 KV；显存调度激进，小卡反而吃亏。投机用 --speculative-config。 部署最简单（Windows/macOS/Linux），档位少、可控参数少；本质是 llama.cpp 封装。 非技术用户首选；显存水位比同引擎 llama.cpp 略高（桌面 + JIT）。
来源链接（我们只整理，不抄数字）
- 模型官方仓库：huggingface.co/Qwen/Qwen3-4B —— 权重、模型卡与 config.json 权威源（KV/层数等架构常数从这里核对）。 该模型 GGUF 元数据实测：36 层、KV 头 8、head_dim 128、原生上下文 40K。
- llama.cpp 性能与量化文档 —— 框架参数/量化定义权威源。
- vLLM 文档 —— 显存调度/投机解码参数。
- Qwen 官方仓库 —— 模型卡与 config.json 权威源。
- 实测投稿：本表 tok/s 全为公式推算。有真机输出（框架版本 + 量化 + 上下文 + `llama-bench` 曲线）的同学，可上传实测数据，核实后上表并署名。