AREX-2
关于 AREX-2 的完整介绍（点开看；上面就是结论表）
智源 BAAI 的 AREX-2，官方标 base_model:finetune:Qwen/Qwen3.8-27B——就是在站内 27B 主力 Qwen3.8-27B 上做深度研究/Agent 微调的产物，架构常数与底座完全一致（config 一手核到：64 层 / 16 全注意力 / 4 KV 头 / head_dim 256 / 262144 ctx），HF 张量总量 27.36B（BF16），Apache-2.0，2026-09-29 建库。站长点名「北京资源」即指此（智源=北京 Academy of AI）。多模态（image+video）+ 定位 deep-research / Agent / self-improvement（HF tags），arxiv:2609.38288。KV 与 Qwen3.8-27B 同口径：每 4K 0.25G，显存门槛、24G 卡可开上下文与站内 27B 主力一致。与 Terminal-RSI-27B 的区别：同源底座不同微调方向（Terminal-RSI 偏 terminal/递归自改进，AREX-2 偏深度研究与 Agent 工具调用），本地跑法与显存账完全一样，选谁看任务。他测速度（2026-11-09 B-060 补）：双 RTX 3090 vLLM 0.29.0 W4A16（numsu，单源 C 级，DFlash2 开着未报接受率、不进投机对比）225.6/109.8/66.4/78.5 tok/s（1K/8K/32K/64K prompt，512-out 中位，TTFT 0.69/5.73/25.17/74.38s，128K 档 42.6）——27B 档首次有 24G 卡实测阶梯；端侧 M4 Pro 16GB MLX 4bit ~14 tps（TeksEdge X 帖，留底本）。基座 Qwen3.8-27B 对照（InferenceKey sglang：A6000 FP8 24 / INT4 41、PRO 5000 INT4 68 tok/s）只留底本不挂 AREX-2 名下。
实测速度：什么卡、什么量化、多少 token
| 显卡 | 卡数 | 量化 | 上下文 | 框架 / 版本 | decode tok/s | prefill tok/s | 单流/并发 | 投机 | 口径 | 来源 |
|---|---|---|---|---|---|---|---|---|---|---|
| NVIDIA RTX 3090 24G | 2 卡（互联未报） | W4A16 | 1K | vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） | 225.6 | 1479 | 单流 | 开（接受率 未报） | 口径不全·不进对比 缺 3 项 | numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01 |
| NVIDIA RTX 3090 24G | 2 卡（互联未报） | W4A16 | 8K | vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） | 109.8 | 1430 | 单流 | 开（接受率 未报） | 口径不全·不进对比 缺 3 项 | numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01 |
| NVIDIA RTX 3090 24G | 2 卡（互联未报） | W4A16 | 31K | vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） | 66.4 | 1273 | 单流 | 开（接受率 未报） | 口径不全·不进对比 缺 3 项 | numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01 |
| NVIDIA RTX 3090 24G | 2 卡（互联未报） | W4A16 | 63K | vLLM（pinned 部署镜像） · vLLM 0.29.0（KV FP8 + CPU offload 28GiB；262144-token 上限配置，128K prompt 实测、262K 未测） | 78.5 | 861 | 单流 | 开（接受率 未报） | 口径不全·不进对比 缺 3 项 | numsu/AREX-2-27B-INT4-W4A16（HF 仓库 README，双 RTX 3090 实测全矩阵） numsu（HF 社区） · 2026-10-01 |
每行是一次真实测量的完整口径：哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来，缺项的行不参与对比与偏差计算。本站实测行没有外链，但日志路径就是原始数据所在。 想看同一张卡跑别的模型，从这个表的显卡名点进那张卡的页面。
速查：什么卡、跑多少 token
推算值按 IQ3_K、8K 上下文、单流；真实测量看下面的实测速度表。没有实测的模型这里只有推算，本站不把推算写成实测。
架构常数（已核实）
来源：BAAI/AREX-2 / config.json（抓取于 2026-11-08）。KV 公式：2 × 层数 × KV头数 × 头维 × 精度字节 × token（滑窗层按 — 封顶）。
上下文档位（按 IQ3_K）
| 上下文 | KV | 总需显存 | 16G 水位内 |
|---|---|---|---|
| 4K | 0.25 G | 13.2 G | 够 |
| 8K | 0.5 G | 13.5 G | 够 |
| 32K | 2 G | 15 G | 超 |
| 128K | 8 G | 21 G | 超 |
* 含 1G 框架开销；可用水位按 Windows 口径 88% = 14.1G。
各显存档位能开多大
| 显存 | 推荐量化 | 8K 总需 | 最多可开 |
|---|---|---|---|
| 4G | 装不下 | — | — |
| 6G | 装不下 | — | — |
| 8G | 装不下 | — | — |
| 10G | 装不下 | — | — |
| 11G | 装不下 | — | — |
| 12G | 装不下 | — | — |
| 16G | IQ3_K（估算） | 13.5G | 17920（约 18K） |
| 20G | IQ4_XS（估算） | 16.1G | 33280（约 33K） |
| 22G | Q4_K_M（估算） | 17.9G | 31744（约 31K） |
| 24G | Q5_K_M（估算） | 20.7G | 14848（约 15K） |
| 32G | Q6_K（估算） | 24G | 77312（约 76K） |
| 48G | Q8_0（估算） | 30.6G | 197632（约 193K） |
| 64G | Q8_0（估算） | 30.6G | 262144（约 256K） |
| 96G | Q8_0（估算） | 30.6G | 262144（约 256K） |
| 128G | Q8_0（估算） | 30.6G | 262144（约 256K） |
| 256G | Q8_0（估算） | 30.6G | 262144（约 256K） |
| 512G | Q8_0（估算） | 30.6G | 262144（约 256K） |
「最多可开」已扣掉权重与 1G 开销；标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token（估算值，未逐项核实）。量化档后带「（估算）」= 官方仓库没核到这档、按公式算的权重体积（方向保守偏高）；不带 = 核过官方仓库真实文件体积。
估算速度（IQ3_K · 8K）
推算 本站暂无这一模型的实测记录。
| 显卡 | 状态 | 估算 tok/s |
|---|---|---|
| NVIDIA RTX 5090 32G | 流畅 | 90–127 |
| NVIDIA RTX 5090 D 32G | 流畅 | 90–127 |
| NVIDIA CMP 170HX 64G（矿卡魔改） | 流畅 | 75–106 |
| NVIDIA RTX PRO 5000 Blackwell 48G（工作站） | 流畅 | 67–95 |
| AMD Instinct MI100 32G（老数据中心卡） | 流畅 | 62–87 |
| AMD Instinct MI50 32G（数据卡） | 流畅 | 51–73 |
| AMD Radeon VII 16G | 能跑但紧 | 51–73 |
| NVIDIA RTX 4090 24G | 流畅 | 50–71 |
| NVIDIA RTX 3090 Ti 24G | 流畅 | 50–71 |
同一套公式也用于显卡页，两页数字必然一致。带宽按 60–85% 效率折算（offload 场景更低），并对单流解码设经验上限，因此这里的数字比纯带宽公式保守。 总需显存 = 13.5G，对比各卡可用水位。
实测数据区
上传实测数据
推理框架命令
llama.cpp
# 1) 取 GGUF 权重（本站核实过的仓库名）
huggingface-cli download BAAI/AREX-2 config.json
# GGUF 量化版通常在第三方转换仓库，搜「BAAI/AREX-2 GGUF」
# 2) 起服务（Linux/macOS 用 ./llama-server，Windows 用 llama-server.exe）
llama-server -m AREX-2-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080Ollama
# 本站没核实到 Ollama 仓库里有 AREX-2 的可用标签，所以不给命令
# 自己去查一眼：https://ollama.com/search?q=AREX-2宁可不给命令，也不给一条跑不通的命令——照抄未核实的标签是新手最常见的卡死原因。
vLLM
vLLM 直接吃 Hugging Face 仓库名，这条最可靠：
vllm serve BAAI/AREX-2 --max-model-len 8192 --gpu-memory-utilization 0.90LM Studio
模型页搜「BAAI/AREX-2」→ 选 IQ3_K 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大仓库名 BAAI/AREX-2 是本站核实过的（架构常数就取自它）。Ollama 标签与 GGUF 文件名会随发布方变动，本站不保证一定存在，拉取失败请搜同名前缀。
优化要点
- Q4_K_M 权重 16.4G（估算）、Q6_K 22.5G（估算）、Q8_0 29.1G（估算）：带「估算」的是公式值（官方仓库没核到这档），不带的核过真实文件；先在容量表里确认 8K 上下文还剩多少，再决定档位
- 上下文从 8K 提到 32K，KV 增加约 1.5G（本模型 64 层 / 4 KV头 / 头维 256）
- 模型原生上下文上限是 256K，把 -c 设得更高属于超纲使用，质量不保证
- 想要更长上下文：-ctk q8_0 -ctv q8_0 让 KV 减半，几乎不掉质量
- 稠密模型每个 token 都要读全部权重，所以速度上限就是带宽 ÷ 权重大小
- 本站对单流解码设了经验上限 200–200 tok/s（依带宽分档），超出上限的数字是公式失真而不是你的卡快