上传实测

Qwen2.5-VL-7B-Instruct旧代际

Qwen · 7B 参数 · dense · GQA · 28 层全注意力 + 32 层视觉塔（ViT 窗口注意力）· mRoPE · 开源 2025-01 · 多模态 / 看图 / 视频理解 / 视觉 Agent / OCR 文档解析

关于 Qwen2.5-VL-7B-Instruct 的完整介绍（点开看；上面就是结论表）

7B 档的多模态模型（官方模型卡原文 We have three models with 3, 7 and 72 billion parameters，本条目取 7；HF 徽章显示的 8B params BF16 是把视觉塔算进去的口径，两者差约 0.5G）。config.json 实测常数：28 层全部是标准 GQA 注意力（4 个 KV 头、head_dim=128，use_sliding_window=false——sliding_window=32768 字段存在但未启用），所以每 4K 上下文的 KV ≈ 0.22 GiB，和同参数量纯文本模型一个量级，显存大头在权重和视觉输入。能力面（官方 blog 2025-01-26）：文档/表格 OCR、动态分辨率看图、1 小时级视频理解、GUI 视觉 Agent（computer use / phone use）、结构化 JSON 输出。两处口径对不上，照实写：① 官方模型卡说 config 默认 32,768 上下文、用 YaRN 扩到 131,072，但本站 2026-11-05 抓到的 config.json 里 max_position_embeddings 就是 128,000——以 config 为准记 128K；② 128000 < 131072，差一点够不到站内 long-context 标签的阈值，所以不打这个标。语料里那 3 篇 CSDN 镜像推广稿（数据冰山/三更寒天/瘦下来）已在审计中剔除（一物多稿、营销句式），本条目不引用。本地跑法注意：走 Qwen-VL 模板，llama.cpp 需要额外的 mmproj 视觉投影文件；视频输入的 token 消耗很大，图片建议限 min_pixels/max_pixels。

实测速度：什么卡、什么量化、多少 token

这一模型还没有实测条目。
上传实测数据

每行是一次真实测量的完整口径：哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来，缺项的行不参与对比与偏差计算。本站实测行没有外链，但日志路径就是原始数据所在。 想看同一张卡跑别的模型，从这个表的显卡名点进那张卡的页面。

速查：什么卡、跑多少 token

AMD R9 295X2 8G装不下（8G · 推算）
NVIDIA RTX 5070 12G54–77 t/s（12G · 推算）
AMD Radeon VII 16G83–117 t/s（16G · 推算）
NVIDIA RTX 4090 24G81–115 t/s（24G · 推算）
NVIDIA RTX 5090 32G145–200 t/s（32G · 推算）
NVIDIA RTX PRO 5000 Blackwell 48G（工作站）108–154 t/s（48G · 推算）

推算值按 Q8_0、8K 上下文、单流；真实测量看下面的实测速度表。没有实测的模型这里只有推算，本站不把推算写成实测。

架构常数（已核实）

层数28
KV 头数4
每头维度128
需全量 KV 的层28 / 28
滑窗长度无（全层线性）
原生上下文上限125K
KV 每 4K（FP16）0.219 G
KV 每 1K token0.05 G

来源：Qwen/Qwen2.5-VL-7B-Instruct / config.json（抓取于 2026-11-05）。KV 公式：2 × 层数 × KV头数 × 头维 × 精度字节 × token（滑窗层按 — 封顶）。

上下文档位（按 Q8_0）

上下文KV总需显存16G 水位内
4K0.22 G8.7 G够
8K0.44 G8.9 G够
32K1.75 G10.2 G够
128K7 G15.4 G超

* 含 1G 框架开销；可用水位按 Windows 口径 88% = 14.1G。

各显存档位能开多大

显存推荐量化8K 总需最多可开
4G装不下——
6GIQ4_XS（估算）5.2G10752（约 11K）
8GQ5_K_M（估算）6.3G20480（约 20K）
10GQ6_K（估算）7.2G38400（约 38K）
11GQ8_0（估算）8.9G23552（约 23K）
12GQ8_0（估算）8.9G40448（约 40K）
16GQ8_0（估算）8.9G105984（约 104K）
20GQ8_0（估算）8.9G128000（约 125K）
22GQ8_0（估算）8.9G128000（约 125K）
24GQ8_0（估算）8.9G128000（约 125K）
32GQ8_0（估算）8.9G128000（约 125K）
48GQ8_0（估算）8.9G128000（约 125K）
64GQ8_0（估算）8.9G128000（约 125K）
96GQ8_0（估算）8.9G128000（约 125K）
128GQ8_0（估算）8.9G128000（约 125K）
256GQ8_0（估算）8.9G128000（约 125K）
512GQ8_0（估算）8.9G128000（约 125K）

「最多可开」已扣掉权重与 1G 开销；标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token（估算值，未逐项核实）。量化档后带「（估算）」= 官方仓库没核到这档、按公式算的权重体积（方向保守偏高）；不带 = 核过官方仓库真实文件体积。

估算速度（Q8_0 · 8K）

推算 本站暂无这一模型的实测记录。

显卡状态估算 tok/s
NVIDIA RTX 5090 32G流畅145–200
NVIDIA RTX 5090 D 32G流畅145–200
NVIDIA CMP 170HX 64G（矿卡魔改）流畅120–170
NVIDIA RTX PRO 5000 Blackwell 48G（工作站）流畅108–154
AMD Instinct MI100 32G（老数据中心卡）流畅99–140
AMD Instinct MI50 32G（数据卡）流畅83–117
AMD Radeon VII 16G流畅83–117
NVIDIA RTX 4090 24G流畅81–115
NVIDIA RTX 3090 Ti 24G流畅81–115

同一套公式也用于显卡页，两页数字必然一致。带宽按 60–85% 效率折算（offload 场景更低），并对单流解码设经验上限，因此这里的数字比纯带宽公式保守。 总需显存 = 8.9G，对比各卡可用水位。

实测数据区

暂无实测数据。
上传实测数据

推理框架命令

llama.cpp

# 1) 取 GGUF 权重（本站核实过的仓库名）
huggingface-cli download Qwen/Qwen2.5-VL-7B-Instruct config.json
#   GGUF 量化版通常在第三方转换仓库，搜「Qwen/Qwen2.5-VL-7B-Instruct GGUF」
# 2) 起服务（Linux/macOS 用 ./llama-server，Windows 用 llama-server.exe）
llama-server -m QWEN2-5-VL-7B-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080

Ollama

ollama run qwen2.5vl:7b

标签按 Ollama 库命名习惯整理，若拉取失败请 `ollama pull` 搜同名前缀；Ollama 会自行决定量化档与显存分配。

vLLM

vLLM 直接吃 Hugging Face 仓库名，这条最可靠：
vllm serve Qwen/Qwen2.5-VL-7B-Instruct --max-model-len 8192 --gpu-memory-utilization 0.90

LM Studio

模型页搜「Qwen/Qwen2.5-VL-7B-Instruct」→ 选 Q8_0 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大

仓库名 Qwen/Qwen2.5-VL-7B-Instruct 是本站核实过的（架构常数就取自它）。Ollama 标签与 GGUF 文件名会随发布方变动，本站不保证一定存在，拉取失败请搜同名前缀。

优化要点

相关

16G 显存有哪些卡看 Qwen2.5-VL-7B-Instruct 在 16G 这一档和别的卡/模型比是什么位置装不下 / out of memory 怎么排查先确认是权重超容量还是上下文吃光了余量小模型跑 Q8、大模型跑 Q4 对不对？量化档应该由剩余显存决定，不是由参数量决定

有 Qwen2.5-VL-7B-Instruct 的实测数据？

上传速度 → 进入实测表，并成为这一页的第一行实测。

上传实测数据
这条内容有帮助吗？