Beam 1.0 501B

Beam · 501B 总参数 / 激活 23B · MoE · 52 层(3 dense + 49 MoE)/ 256 专家激活 8 / Gated GQA + 滑窗注意力 · 纯文本 · 1M ctx · 开源 2026-10-16 · 501B MoE 激活 23B / 1M 上下文 / Apache 2.0 / 纯文本 / 多机集群门槛

关于 Beam 1.0 501B 的完整介绍(点开看;上面就是结论表)

Reflection AI 2026-10-16 开源的首个模型(HF: reflection/Beam-1.0-501B-A23B,许可 **Apache 2.0**,BF16/FP8/NVFP4 三档 + DFlash2 推测解码 drafter)。501.3B 总 / 23.4B 激活,52 层(3 dense + 49 MoE)、256 专家激活 8、Gated GQA + 滑窗注意力,纯文本、主打 coding/reasoning/长程 Agent,1M ctx,知识截止 2026-06-30。权重 NVFP4 ~294G / FP8 ~503G / BF16 ~1TB,单卡装不下,门槛多机集群(官方 TP8/EP8 8×卡)。KV 已按 config 一手核到并建 arch_detail 精确化:52 层里 9 层全注意力 + 43 层滑窗(窗口 512)/ GQA 8KV / head_dim 128,复算 0.22G/4K(原保守近似 0.3G,config 抓到后转正,原值未逐层核)。收录理由:2026 窗口内新出现的美国一线实验室开放权重模型,读者会搜,给诚实答案页。

实测速度:什么卡、什么量化、多少 token

显卡卡数量化上下文框架 / 版本decode tok/sprefill tok/s单流/并发投机口径来源
8×NVIDIA GB300 TP8(vLLM 官方 day-0,SpeedBench throughput_1k)8 卡(互联未报)NVFP41KvLLM · 版本未报708未报单流开(接受率 未报)口径不全·不进对比 缺 4 项Serving Reflection Beam on vLLM from Day 0(vLLM 博客) vLLM Team · 2026-10-16

每行是一次真实测量的完整口径:哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来,缺项的行不参与对比与偏差计算。本站实测行没有外链,但日志路径就是原始数据所在。 想看同一张卡跑别的模型,从这个表的显卡名点进那张卡的页面。

速查:什么卡、跑多少 token

AMD R9 295X2 8G装不下(8G · 推算)
NVIDIA RTX 5070 12G装不下(12G · 推算)
AMD Radeon VII 16G装不下(16G · 推算)
NVIDIA RTX 4090 24G装不下(24G · 推算)
NVIDIA RTX 5090 32G装不下(32G · 推算)
NVIDIA RTX PRO 5000 Blackwell 48G(工作站)装不下(48G · 推算)

推算值按 Q4_K_M、8K 上下文、单流;真实测量看下面的实测速度表。没有实测的模型这里只有推算,本站不把推算写成实测。

架构常数(已核实)

层数52
KV 头数8
每头维度128
需全量 KV 的层9 / 52
滑窗长度512
原生上下文上限1024K
KV 每 4K(FP16)0.225 G
KV 每 1K token0.04 G

来源:reflection/Beam-1.0-501B-A23B / config.json(抓取于 2026-11-08)。KV 公式:2 × 层数 × KV头数 × 头维 × 精度字节 × token(滑窗层按 512 封顶)。

上下文档位(按 Q4_K_M)

上下文KV总需显存16G 水位内
4K0.22 G301.8 G超
8K0.37 G302 G超
32K1.21 G302.8 G超
128K4.58 G306.2 G超

* 含 1G 框架开销;可用水位按 Windows 口径 88% = 14.1G。

各显存档位能开多大

显存推荐量化8K 总需最多可开
4G装不下——
6G装不下——
8G装不下——
10G装不下——
11G装不下——
12G装不下——
16G装不下——
20G装不下——
22G装不下——
24G装不下——
32G装不下——
48G装不下——
64G装不下——
96G装不下——
128G装不下——
256G装不下——
512GQ6_K(估算)412.2G1048576(约 1024K)

「最多可开」已扣掉权重与 1G 开销;标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token(估算值,未逐项核实)。量化档后带「(估算)」= 官方仓库没核到这档、按公式算的权重体积(方向保守偏高);不带 = 核过官方仓库真实文件体积。

这是 MoE 模型:显存需求按 501B 总参数算,速度按激活 23B 算。把专家放内存可以用更小的卡跑它,见 稠密与 MoE 的区别。

估算速度(Q4_K_M · 8K)

推算 本站暂无这一模型的实测记录。

显卡状态估算 tok/s
NVIDIA RTX 5090 32G装不下需 offload ≈2–3
NVIDIA RTX 5090 D 32G装不下需 offload ≈2–3
NVIDIA CMP 170HX 64G(矿卡魔改)装不下需 offload ≈2–3
NVIDIA RTX PRO 5000 Blackwell 48G(工作站)装不下需 offload ≈2–3
AMD Instinct MI100 32G(老数据中心卡)装不下需 offload ≈2–3
AMD Instinct MI50 32G(数据卡)装不下需 offload ≈2–3
AMD Radeon VII 16G装不下需 offload ≈2–3
NVIDIA RTX 4090 24G装不下需 offload ≈2–3
NVIDIA RTX 3090 Ti 24G装不下需 offload ≈2–3

同一套公式也用于显卡页,两页数字必然一致。带宽按 60–85% 效率折算(offload 场景更低),并对单流解码设经验上限,因此这里的数字比纯带宽公式保守。 总需显存 = 302G,对比各卡可用水位。

实测数据区

暂无实测数据。
上传实测数据

推理框架命令

llama.cpp

# 1) 取 GGUF 权重(本站核实过的仓库名)
huggingface-cli download reflection/Beam-1.0-501B-A23B config.json
#   GGUF 量化版通常在第三方转换仓库,搜「reflection/Beam-1.0-501B-A23B GGUF」
# 2) 起服务(Linux/macOS 用 ./llama-server,Windows 用 llama-server.exe)
llama-server -m BEAM-1-0-501B-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080
# 该模型带滑窗层,长上下文比同级便宜,值得把 -c 拉高试试
# MoE:想让专家留在内存以塞更大模型,加 --n-cpu-moe(参数名随版本变,用 --help 确认)

Ollama

# 本站没核实到 Ollama 仓库里有 Beam 1.0 501B 的可用标签,所以不给命令
# 自己去查一眼:https://ollama.com/search?q=Beam%201.0%20501B

宁可不给命令,也不给一条跑不通的命令——照抄未核实的标签是新手最常见的卡死原因。

vLLM

vLLM 直接吃 Hugging Face 仓库名,这条最可靠:
vllm serve reflection/Beam-1.0-501B-A23B --max-model-len 8192 --gpu-memory-utilization 0.90

LM Studio

模型页搜「reflection/Beam-1.0-501B-A23B」→ 选 Q4_K_M 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大

仓库名 reflection/Beam-1.0-501B-A23B 是本站核实过的(架构常数就取自它)。Ollama 标签与 GGUF 文件名会随发布方变动,本站不保证一定存在,拉取失败请搜同名前缀。

优化要点

相关

16G 显存有哪些卡看 Beam 1.0 501B 在 16G 这一档和别的卡/模型比是什么位置装不下 / out of memory 怎么排查先确认是权重超容量还是上下文吃光了余量小模型跑 Q8、大模型跑 Q4 对不对?量化档应该由剩余显存决定,不是由参数量决定

有 Beam 1.0 501B 的实测数据?

上传速度 → 进入实测表,并成为这一页的第一行实测。

上传实测数据
这条内容有帮助吗?