实测：第三方真机实测 102 条（引用整理、行级带来源）+ 本站自跑 42 条（带本机日志）+ 本站自测 11 条 + 站长口报 3 条（无日志，未本站复现）
口径提醒：各行来自不同文章、不同驱动 / 版本 / 机器，同一张卡的数字可能差 10–30%，这是正常分歧，本站不抹平、不取平均——要判断谁准，看行尾那篇文章的原始条件。
几句话评价（基于上表数据，不是结论）
- llama.cpp 系是 12–24G 单卡跑 14–27B 的默认解：量化工具最全（Q4_K_M / IQ3 系 / NVFP4 都有人跑通），上表 102 条他测里它占大头；缺点是版本之间数字差得多（同一个 Q4_K_M，不同 fork 能差 20%），看数字一定看行尾那篇文章用的什么分支。
- vLLM 适合要服务化的场景（多并发 / OpenAI 兼容接口），3090 双卡、DGX Spark 这些条目都是它；单卡小显存上它的显存调度比较激进，吃紧的卡反而不如 llama.cpp 稳。
- 老数据卡（P100 / V100）被新引擎救回来了：P100 双卡 UD-Q6_K 在 32K 上下文跑到 53 t/s（Kmic-68/Keoian sm_60 重写分支），V100 32G 跑 27B Q4_K_M 短上下文 16–18 t/s、能一路开到 262K 上下文（4.8 t/s）——老卡党看行尾链接里的完整配置，比看峰值 tok/s 有用。
- 上下文是比速度更容易被忽略的紧约束：同一张 3090，27B Q4_K_M 在 32K 和 524K 上下文速度差 7 倍（45 → 6 t/s），买卡之前先想清楚你要多长上下文，比看峰值 tok/s 有用。
本站自测 / 站长口报（14 条）
「本站实测」有本机日志可逐格核对；「站长口报」是站长当面给的真机数（无日志无外链，claimed 档，未本站复现）；「待核」是其余社区来源。
Ornith-1.5-35B-A3B36B / 激活 3B · 3 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 94.82 tok/s | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 28K | llama.cpp（llama-server，具体 build 未记录） | 68.36 tok/s | 本站实测 |
| NVIDIA RTX 5060 Ti 16G | Q4_K_M | 8K | llama.cpp（构建号站长未报） | 30 tok/s | 站长口报 |
MiniCPM-V 4.7 35B-A3B35.2B / 激活 3.5B · 1 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 88.91 tok/s | 本站实测 |
Qwen3.6-35B-A3B35B / 激活 3B · 2 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA RTX 5060 Ti 16G | GSQ-2bit | 8K | llama.cpp（构建号站长未报；GSQ 2bit 混合需 2026-10 前后构建，详见模型页编辑注） | 40 tok/s | 站长口报 |
| NVIDIA RTX 5060 Ti 16G | Q4_K_M | 8K | llama.cpp（构建号站长未报） | 30 tok/s | 站长口报 |
NVIDIA Nemotron 3.5 Lightning 30B30B / 激活 3B · 1 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 105.65 tok/s | 本站实测 |
Muse Glimmer-30B29.8B · 1 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 17.05 tok/s | 本站实测 |
Terminal-RSI-27B27.8B · 1 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 16.84 tok/s | 本站实测 |
Qwen3.8-27B26.9B · 2 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 13K | llama.cpp（llama-server，2026-10 预编译包，具体 build 未记录） | 28.8 tok/s | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 16.71 tok/s | 本站实测 |
Gemma 4 12B Unified11.95B · 1 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 34.89 tok/s | 本站实测 |
小米 MiMo-V2.6-Distill-Qwen-9B9B · 1 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 53.9 tok/s | 本站实测 |
MiniCPM5-2B2.5B · 1 条
| 显卡 | 量化 | 上下文 | 框架 | 速度 | 状态 |
|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | llama.cpp b10635-fc35562ba（llama-server，-np 4 -ngl 99 -fa on -ctk q8_0 -ctv q8_0 -c 32768） | 143.37 tok/s | 本站实测 |
本站自跑 · 上下文扫描（42 条）
这 42 条是本站自己在这台机器上跑出来的（benchmarks 里 source_type="self" 的那批）， 每条都带本机日志路径、可以逐格核对，卡只有 1 张（NVIDIA Tesla V100 32G（数据卡））。 与上面 records 那 14 条不是同一批数据：records 是每模型一条的摘要，这里是同模型逐档上下文的扫描， 所以能直接看出「上下文越长越慢」这条曲线——这是全站最硬的一组数，第三方文章很少有人把 512 → 256K 全档跑完。
Qwen3.8-27B26.9B · 18 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 16.71 tok/s | 125.75 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 18.08 tok/s | 128.52 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 1K | 18.59 tok/s | 315.32 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 1K | 16.47 tok/s | 319.7 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 4K | 15.99 tok/s | 391.83 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 4K | 17.64 tok/s | 389.25 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 8K | 17.26 tok/s | 381.75 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 8K | 15.61 tok/s | 386.91 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 16K | 16.05 tok/s | 360.86 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 16K | 14.67 tok/s | 364.92 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 32K | 14.09 tok/s | 331.97 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 32K | 13.2 tok/s | 337.06 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 64K | 11.3 tok/s | 288.58 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 64K | 10.8 tok/s | 294.29 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 128K | 7.7 tok/s | 231.84 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 128K | 7.93 tok/s | 229.14 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 256K | 4.8 tok/s | 160.01 | llama.cpp（llama-server） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | UD-IQ3_S | 256K | 4.87 tok/s | 165.29 | llama.cpp（llama-server） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\qwen3-8-27b-q4km\raw.json
Ornith-1.5-35B-A3B36B / 激活 3B · 16 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 100.46 tok/s | 501.19 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 94.82 tok/s | 353.01 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 1K | 93.4 tok/s | 626.12 | llama.cpp llama-server | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 1K | 103.71 tok/s | 710.4 | llama.cpp llama-server（七档上下文扫频，/completion 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 4K | 90.19 tok/s | 1187.71 | llama.cpp llama-server | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 4K | 99.86 tok/s | 1309.76 | llama.cpp llama-server（七档上下文扫频，/completion 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 16K | 89.23 tok/s | 1266.03 | llama.cpp llama-server（七档上下文扫频，/completion 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 16K | 81.77 tok/s | 1140.64 | llama.cpp llama-server | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 32K | 72.53 tok/s | 1069.22 | llama.cpp llama-server | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 32K | 78.6 tok/s | 1121.2 | llama.cpp llama-server（七档上下文扫频，/completion 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 64K | 56.29 tok/s | 895.64 | llama.cpp llama-server | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 64K | 60.61 tok/s | 907.01 | llama.cpp llama-server（七档上下文扫频，/completion 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 128K | 38.1 tok/s | 669.77 | llama.cpp llama-server | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 128K | 41.15 tok/s | 657.48 | llama.cpp llama-server（七档上下文扫频，/completion 接口） | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 256K | 22.99 tok/s | 452.12 | llama.cpp llama-server | 本站实测 |
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 256K | 24.49 tok/s | 421.41 | llama.cpp llama-server（七档上下文扫频，/completion 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\ornith-1-5-35b-a3b-q4km-b12211\raw.json
Terminal-RSI-27B27.8B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 16.84 tok/s | 124.82 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\terminal-rsi-27b-q4km\raw.json
Swift-1.5-Qwen3.8-27B27.8B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 16.79 tok/s | 124.25 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\swift-1-5-qwen38-27b-q4km\raw.json
小米 MiMo-V2.6-Distill-Qwen-9B9B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 53.9 tok/s | 595.43 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\mimo-v2-6-distill-qwen-9b-q4km\raw.json
Muse Glimmer-30B29.8B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 17.05 tok/s | 199.35 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\muse-glimmer-30b-q4km\raw.json
MiniCPM5-2B2.5B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 143.37 tok/s | 2009.08 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\minicpm5-2b-q4km\raw.json
NVIDIA Nemotron 3.5 Lightning 30B30B / 激活 3B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 105.65 tok/s | 342.43 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\nemotron-3-5-lightning-30b-q4km\raw.json
MiniCPM-V 4.7 35B-A3B35.2B / 激活 3.5B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 88.91 tok/s | 374.33 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\minicpm-v-4-7-35b-a3b-q4km\raw.json
Gemma 4 12B Unified11.95B · 1 条
| 显卡 | 量化 | 上下文 | decode t/s | prefill t/s | 框架 | 状态 |
|---|---|---|---|---|---|---|
| NVIDIA Tesla V100 32G（数据卡） | Q4_K_M | 0K | 34.89 tok/s | 434.31 | llama.cpp llama-server（六工位统一评测，OpenAI 兼容 chat 接口） | 本站实测 |
日志路径就是原始数据所在：P:\显卡模型网站\tools\bench\evals_suite\gemma-4-12b-unified-q4km\raw.json
来源文章全列（64 篇，引用整理，非抄袭）
把公开文章的数据整理成一张表，每行都挂回原文；原文署名、日期、链接在站内数据台账（benchmarks.json）里逐条可查，本页按出现次数降序列出。
- MiMo 9B EXL3: 145 tok/s on RTX 4090, 56 tok/s on RTX 3060（RAMGPT，2026-09-29） ↗（被引 9 次 · bettercallcaleb（RAMGPT） · 2026-09-29）
- 8G 显卡就能跑三进制量化 Qwen3.8-27B，速度 23 tok/s（千尺浪 · 博客园） ↗（被引 5 次 · qianchilang · 2026-09-21）
- qwen3.8-27b-24gb-recipe（Mike Lee，MIT）：24GB 单卡跑 Qwen3.8-27B 两条 recipe 的完整阶梯实测 ↗（被引 5 次 · Mike Lee（mikecovlee） · 2026-10-10）
- 性能优化：通义千问3-14B在RTX4090上的加速技巧 ↗（被引 4 次 · LikYu-餘力（CSDN） · 2026-01-16）
- Qwen3.8-27B on two Tesla P100s（Keoian README：MTP 72-prompt 套件上下文档梯，2026-10-28 测） ↗（被引 4 次 · Keoian（GitHub，生产部署自述） · 2026-10-28）
- numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） ↗（被引 4 次 · numsu（HF 社区） · 2026-10-01）
- Qwen 3.8 27B on a 5060 Ti: 64 t/s Local Coding and a Car Configurator That Actually Works（NJannasch.Dev） ↗（被引 3 次 · NJannasch · 2026-08-15）
- 74B 的大模型，塞进了 24GB 显卡（知音探索 · B站专栏 · 2026-11-01） ↗（被引 3 次 · 知音探索 · 2026-11-01）
- 两张 3090 扛 27B：Qwen3.8-27B 大模型 DFlash2 加速版生产级落地 ↗（被引 2 次 · 程序猿编码 · 2026-09-14）
- 双 RTX 3090 实测：27B 模型稳定跑通 524K 超长上下文 ↗（被引 2 次 · 王若然 · 2026-09-16）
- Qwen3.8 27B at 256K: 50 TPS on a 24 GB GPU（piszczek.pl） ↗（被引 2 次 · Michał Piszczek · 2026-08-17）
- RTX 3060 12GB/8GB 本地跑 27B 大模型：256K 上下文、约 45 token/秒（5258MF/ninfer-rtx3060-27b） ↗（被引 2 次 · 5258MF · 2026-10-13）
- RTX 4080 SUPER 原生 Windows 跑 27B：NInfer 80 SM 移植实录 ↗（被引 2 次 · 我有一个小太阳0209 · 2026-10-07）
- 亲测gpt-oss-20b-WEBUI：20B大模型在本地的惊人响应速度 ↗（被引 2 次 · 叶深深（CSDN） · 2026-01-22）
- Qwen3.8-Flash-Next — Full Fleet Deployment (Day-0)，tonyd2wild，2026-08-26 ↗（被引 2 次 · tonyd2wild（2Wild fleet / @Tech2Wild） · 2026-08-26）
- TP2 benchmark on 2x RTX 5070 Ti (16GB) — vision works, decode speed + VRAM findings（curiouspp8，2026-08-16） ↗（被引 2 次 · curiouspp8（HF 社区，unsloth/Qwen3.8-27B-NVFP4 讨论区 #16） · 2026-08-16）
- Benchmark Nvidia RTX 3060 12GB #40（geerlingguy/ai-benchmarks） ↗（被引 2 次 · geerlingguy · 2025-12-06）
- 3090 Ti 单卡跑 27B 模型：链式 MTP 加速实战与踩坑记录 ↗（被引 1 次 · The Type · 2026-09-16）
- NInfer 单卡黑盒 benchmark：RTX 4090D + Qwen3.8-27B 常驻服务，性能与能力全谱实测（COMMEE-087/ninfer-4090d-bench） ↗（被引 1 次 · COMMEE-087 · 2026-09-10）
- RTX 3090 Local LLM Benchmarks, Context Scaling & Supported Models 2026 ↗（被引 1 次 · Hardware Corner（gpu-llm-benchmarks 栏目，滚动更新） · 2026-11-06）
- RTX 3090 Ti Local LLM Benchmarks, Context Scaling & Supported Models 2026 ↗（被引 1 次 · Hardware Corner（gpu-llm-benchmarks 栏目，滚动更新） · 2026-11-06）
- Qwen3-30B-A3B-Thinking-2507 Performance benchmark（run-20261024-084507-575220） ↗（被引 1 次 · Mario Alka（llm-benchmark.de 社区提交） · 2026-10-24）
- Qwen3-30B-A3B 各显卡对比图（run-20261024-084507-575220 页） ↗（被引 1 次 · Mario Alka（llm-benchmark.de 社区提交） · 2026-10-24）
- Qwen3.8-27B on two Tesla P100s（Keoian/dual-p100-qwen-3-8-27b，作者本机实测 2026-10-01，README + p100-docs/QUICKSTART 逐档表） ↗（被引 1 次 · Keoian · 2026-10-01）
- KTransformers 教程：在本地运行 GLM-5.3-Flash（DataCamp，Abid Ali Awan，2026-10-06） ↗（被引 1 次 · Abid Ali Awan（DataCamp） · 2026-10-06）
- Qwen3.8-27B-UD-IQ4_XS on AMD Radeon RX 9070/9070 XT/9070 GRE — 30.8 tok/s（llm-bench.io，2026-08-28） ↗（被引 1 次 · llm-bench.io 社区提交（页面未署名个人） · 2026-08-28）
- Nemotron 3.5 Lightning 30B-A3B-NVFP4 — Spark Arena Benchmark（Kuscsik Zoltan，2026-08-12） ↗（被引 1 次 · Kuscsik Zoltan（spark-arena 社区，GB10 DGX Spark 开发者论坛） · 2026-08-12）
- NVIDIA-Nemotron-3.5-Lightning-30B-A3B on RTX 3090 Ti（vLLM NVFP4，llm-benchmark.de，run-20261021-093815-b22926） ↗（被引 1 次 · Marcel Sommer（llm-benchmark.de 社区提交） · 2026-10-21）
- NVIDIA-Nemotron-3.5-Lightning-30B-A3B on RTX 3090（llama.cpp Q4_K_M，llm-benchmark.de，run-20261024-090453-c58a61） ↗（被引 1 次 · Mario Alka（llm-benchmark.de 社区提交） · 2026-10-24）
- NVIDIA-Nemotron-3.5-Lightning-30B-A3B on RTX 3090（TensorFold MLX 4-bit，llm-benchmark.de，run-20261026-183943-5ef8b5） ↗（被引 1 次 · Mario Alka（llm-benchmark.de 社区提交） · 2026-10-26）
- Qwen3.8-27B on two Tesla P100s（Keoian/dual-p100-qwen-3-8-27b README，2026-10-22 / decode 复测 10-24） ↗（被引 1 次 · Keoian（GitHub，生产部署自述） · 2026-10-22）
- Serving Reflection Beam on vLLM from Day 0（vLLM 博客） ↗（被引 1 次 · vLLM Team · 2026-10-16）
- vLLM Delivers Day-0 Support for Kimi K3.1 Pro（vLLM 博客） ↗（被引 1 次 · vLLM Team · 2026-11-04）
- MiniCPM-V 4.7の35Bモデルを16GBのMac miniで動かしてみた（lilting channel） ↗（被引 1 次 · いけさん（lilting channel） · 2026-10-14）
- Blackwellboy/minicpm-v47-35b-rtx5090（单张 RTX 5090：AWQ vs GGUF Q4 vs Q3 全基准） ↗（被引 1 次 · Blackwellboy · 2026-10-13）
- X 帖：First speed benchmark of MiniCPM-V 4.7 35B-A3B（@ItsmeAjayKV） ↗（被引 1 次 · AJ（@ItsmeAjayKV） · 2026-10-12）
- OpenBMB 官方 X 帖：MiniCPM-V 4.7 上 Apple Silicon（Nativ 合作 day-0） ↗（被引 1 次 · OpenBMB（官方，vendor 口径） · 2026-10-13）
- llamaperf 社区报告：Muse 30B Glimmer on RTX 3090（上游 micheledpierri.com 2026-08-20） ↗（被引 1 次 · llamaperf 社区提交（上游 micheledpierri.com） · 2026-10-02）
- MiniCPM5-2B: Our Test Answers（Local Model Watch 自测） ↗（被引 1 次 · Local Model Watch（tsuchitsuchi） · 2026-09-08）
- Running LFM3 on an RTX 4060 Laptop GPU with SGLang（Swamix 正式修正版） ↗（被引 1 次 · Nikhil（Swamix Global AI Solutions） · 2026-10-29）
- tonyd2wild/MiniCPM-V-4.7-35B-A3B-2x-RTX-3090（TP2 NVLink 全基准 + 三处 day-1 修复） ↗（被引 1 次 · Tony DeAngelo（Tech2Wild / 2Wild） · 2026-10-12）
- MiniCPM5-2BをVRAM 6GBで動かす：約115 tok/s（ローカルAIラボ / Zenn） ↗（被引 1 次 · ローカルAIラボ · 2026-10-21）
- meta-models/Muse-Glimmer-30B（vLLM 官方 recipes，Updated 2026-09-09，RTX 5090 实测节） ↗（被引 1 次 · vLLM Team（recipes） · 2026-09-09）
- meta-models/Muse-Glimmer-30B（vLLM 官方 recipes，Updated 2026-09-09，2x RTX 5090 节） ↗（被引 1 次 · vLLM Team（recipes） · 2026-09-09）
- LiquidAI/LFM3-1.7B-GGUF Benchmarks（llm-bench.io 模型页，Last updated October 2026） ↗（被引 1 次 · llm-bench.io 社区提交（Unsloth Studio 用户） · 2026-10-29）
- LFM3 benchmarks: tokens per second by GPU（llamaperf，Nov 4, 2026 报告） ↗（被引 1 次 · llamaperf 社区提交（用户自报） · 2026-11-04）
- google/gemma-4-12b Benchmarks（llm-bench.io 模型页，As of November 2026，11 runs / 6 GPUs） ↗（被引 1 次 · llm-bench.io 社区提交 · 2026-10-11）
- Can a QAT 12B Fit an 8 GB GPU? Gemma 4 12B on an RTX 3050（xbill9 / Google Developer Experts，DEV Community 系列第 3 篇） ↗（被引 1 次 · xbill9（Google Developer Experts） · 2026-10-18）
- Gemma 4 benchmarks（llamaperf 家族页，Oct 17, 2026 31B QAT 报告正文内次级引用） ↗（被引 1 次 · llamaperf 社区提交（次级引用：无 12B 独立报告页） · 2026-10-17）
- Benchmark Report — Ollama gemma4-optimized（hbuddenberg/LowSpec-Gemma4-12B，西语） ↗（被引 1 次 · hbuddenberg · 2026-06-06）
- Gemma-4-12B-it（alesha-pro/4x3090-llm-benchmarks，96 measurements 目录页，2026-06-21 批） ↗（被引 1 次 · alesha-pro · 2026-06-21）
- granite-4.2-8b-fp8 on RTX 3090 24GB: speed test matrix（LocalMaxxing @Sandberg，llm-inference-bench v0.8.0，全矩阵） ↗（被引 1 次 · @Sandberg（LocalMaxxing 社区） · 2026-10-31）
- granite-4.2-8b on RTX 3090 24GB: speed test matrix（LocalMaxxing @Sandberg，BF16 档，全矩阵） ↗（被引 1 次 · @Sandberg（LocalMaxxing 社区） · 2026-10-31）
- granite-4.2-8b-nvfp4 on RTX 3060 12GB: speed test matrix（LocalMaxxing @Sandberg，NVFP4 档，全矩阵） ↗（被引 1 次 · @Sandberg（LocalMaxxing 社区） · 2026-10-31）
- alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/saturation-1024x256-c1） ↗（被引 1 次 · alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05）
- alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/depth-65536x256-c1） ↗（被引 1 次 · alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05）
- alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/saturation-1024x256-c16） ↗（被引 1 次 · alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05）
- alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，nextn/saturation-1024x256-c1） ↗（被引 1 次 · alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05）
- llm-bench.io：Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp（20 runs / 3 GPUs 社区聚合） ↗（被引 1 次 · llm-bench.io 社区（run 提交者 10-04/10-05/10-18） · 2026-10-18）
- llm-bench.io：Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp（2×5060 MULTI-GPU run） ↗（被引 1 次 · llm-bench.io 社区（09-28 run 提交者） · 2026-09-28）
- llm-bench.io：Swift-1.5-Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp（6700 XT run） ↗（被引 1 次 · llm-bench.io 社区（09-29 run 提交者） · 2026-09-29）
- granite-4.2-30b-fp8 on CMP 170HX 64GB: speed test matrix（LocalMaxxing @Sandberg，llm-inference-bench v0.8.0，全矩阵） ↗（被引 1 次 · @Sandberg（LocalMaxxing 社区） · 2026-10-31）
- mARTin-B78/aleph-alpha-inference-kolibri-1-dgx-spark（README 实测表 + 原始数据 benchmarks/ 目录） ↗（被引 1 次 · mARTin-B78（GitHub 社区） · 2026-10-04）
- pulseandthread/kolibri-1-dgx-spark（README 实测表，0/4.9K/19.8K/79K/158K prompt 全序列） ↗（被引 1 次 · pulseandthread（GitHub 社区） · 2026-10-03）