上传实测

ERNIE-5.5-Flash-Base

文心 ERNIE（Baidu） · 280B 总参数 / 激活 14B · MoE（43 层全 MoE，512 路由专家 top-10 + 1 共享）· hybrid_mla_attention（MLA mqa_dsa + HCA 37 层 128× 压缩 / 7 层全层）· 1M 原生（65536 YaRN 16× 外推）· ECHO 复用末层 MTP 兼投机草稿 · 开源 2026-11-05 · 280B/14B 文心 / 1M 上下文 / HCA+MLA 混合 / 多卡/多机门槛 / ERNIE 5.5 License v1.0

关于 ERNIE-5.5-Flash-Base 的完整介绍（点开看；上面就是结论表）

百度 2026-11-05 放权重的 ERNIE 5.5 系列 Base 版（百度官博 ernie.baidu.com/release/ernie-5-5-flash-base 一手 + HF baidu/ERNIE-5.5-Flash-Base 一手，智东西/IT之家/新浪/量子位多源一致）——**B-068（2026-11-09）三态复查改判开放权重**：原宽口径 C 层挂「11-05 Base 版待放量」，本轮核到 FP8 128 分片 + BF16 变体（baidu/ERNIE-5.5-Flash-Base-BF16）已上传。**权重体积一手（注意是字节口径，不是参数量）**：HF API safetensors.total = 286245697882 字节 ≈ 286.2GB——该字段是各 dtype 字节数之和，**不是参数量**（B-120 在 DeepSeek-V4.1-Flash-1017 上抓到过同型坑）；2026-11-13 用 HF API `?blobs=true` 实测 128 个分片文件合计 288434400632 字节 ≈ 268.6GiB（多出的是各分片头部与索引文件）。**参数口径用官方值**：280B 总 / 14B 激活稀疏 MoE，33.5T tokens 从零预训练。**许可全文一手核到（ERNIE 5.5 Flash Base Model License Agreement v1.0）**：Territory 排除欧盟/英国/韩国；非商用免费；商用年收入 ≤$50M 免费（需一次性邮件通知 Baidu_ERNIE@baidu.com + 产品标注「Powered by ERNIE」）；>$50M 需书面授权；禁用条款（不得用于训练其他 AI / 军用 / 高风险决策 / 深伪等）；香港法香港仲裁。开放权重带商用门槛，按 MiniMax Community License 同款口径收录。**config 全文一手**（hf-mirror resolve/main/config.json，model_type ernie5_5_moe）：43 层全 MoE（n_routed_experts 512 + 1 共享，top-10 路由）/ hidden 4096 / 64 头 / **hybrid_mla_attention mqa_dsa + kv_lora_rank 512** / compress_ratios **44 项**（43 层骨干 + 1 层 MTP）：**37 层 HCA 128× 压缩 + 7 层全层**（-2，位置 8/15/22/29/36/43/44，含 MTP 层；原写「43 项 / 38 层 / 5 层 / 位置 8·15·22·29·43」全部数错，本轮按 config 实际值改正）/ sliding_window 128 / max_position_embeddings 1048576 / **rope_scaling YaRN factor 16（original 65536）→ 1M 为外推非真训（与 DeepSeek-V4.1-Flash-1017 同款口径）** / num_nextn_predict_layers 1 + mtp_shared_last_layer=true（ECHO 复用末层 MTP 兼投机草稿）/ ECHO / VHA / Multi-Router / FlashMask-4。**MLA + HCA 压缩注意力套不进 GQA 六字段 → arch_detail null**（DeepSeek-V4.1-Flash-1017 / Ling-3.0-flash 先例），KV 仍留保守兜底 **≈0.1G/4K**（MLA 单潜 512 + 37 层 HCA 128× 压缩，实际 KV 远低于同规模稠密，容量表标注估算）。**留痕（2026-11-13）**：ERNIE-5.5 的 model_type（ernie5_5_moe）官方实现不在 transformers 里（models/__init__.py 只有 ernie / ernie4_5 / ernie4_5_moe / ernie4_5_vl_moe），HF 仓内也没有任何 .py 源码，HCA「128× 压缩」的缓存结构拿不到一手依据 → **不猜、不改值**，保持保守。**官方同尺寸 SOTA 对照**（vendor 口径留痕）：DeepSeek-V4-Flash-Base / Hy3-preview-Base / MiMo-V2.5-Base。**AA 快照（2026-11-07）未上榜**（evals 无条目），不新增 evals 行、不编分。显存门槛：FP8 ~286G——**多卡/多机门槛条目，单卡装不下**（门槛模型惯例：诚实答案页，不打主力徽章）。站内暂无他测速度（开源仅 4 天，按容量表推算）。

实测速度：什么卡、什么量化、多少 token

这一模型还没有实测条目。
上传实测数据

每行是一次真实测量的完整口径：哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来，缺项的行不参与对比与偏差计算。本站实测行没有外链，但日志路径就是原始数据所在。 想看同一张卡跑别的模型，从这个表的显卡名点进那张卡的页面。

速查：什么卡、跑多少 token

AMD R9 295X2 8G装不下（8G · 推算）
NVIDIA RTX 5070 12G装不下（12G · 推算）
AMD Radeon VII 16G装不下（16G · 推算）
NVIDIA RTX 4090 24G装不下（24G · 推算）
NVIDIA RTX 5090 32G装不下（32G · 推算）
NVIDIA RTX PRO 5000 Blackwell 48G（工作站）装不下（48G · 推算）

推算值按 Q4_K_M、8K 上下文、单流；真实测量看下面的实测速度表。没有实测的模型这里只有推算，本站不把推算写成实测。

架构（非标准 GQA 常数）

架构MoE（43 层全 MoE，512 路由专家 top-10 + 1 共享）· hybrid_mla_attention（MLA mqa_dsa + HCA 37 层 128× 压缩 / 7 层全层）· 1M 原生（65536 YaRN 16× 外推）· ECHO 复用末层 MTP 兼投机草稿
原生上下文上限1024K
KV 每 4K（近似）0.1 G

此模型是 MLA 多潜注意力 / 压缩稀疏注意力 / 哈希记忆一类架构，套不进本站「层数 × KV头 × 头维」的六字段常数—— 硬填就是编数字，所以这里不假装精确：KV 按官方口径（该模型自己公布的每 token 字节数，含它自己的 KV 精度）的保守近似线性估，容量表标注「近似」。 来源：baidu/ERNIE-5.5-Flash-Base / config.json（抓取于 2026-11-13）。

上下文档位（按 Q4_K_M）

上下文KV总需显存16G 水位内
4K0.1 G169.1 G超
8K0.2 G169.2 G超
32K0.8 G169.8 G超
128K3.2 G172.2 G超

* 含 1G 框架开销；可用水位按 Windows 口径 88% = 14.1G。

各显存档位能开多大

显存推荐量化8K 总需最多可开
4G装不下——
6G装不下——
8G装不下——
10G装不下——
11G装不下——
12G装不下——
16G装不下——
20G装不下——
22G装不下——
24G装不下——
32G装不下——
48G装不下——
64G装不下——
96G装不下——
128G装不下——
256GQ5_K_M（估算）197.2G1159168（约 1132K）
512GQ8_0（估算）298.7G6230016（约 6084K）

「最多可开」已扣掉权重与 1G 开销；标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token（估算值，未逐项核实）。量化档后带「（估算）」= 官方仓库没核到这档、按公式算的权重体积（方向保守偏高）；不带 = 核过官方仓库真实文件体积。

这是 MoE 模型：显存需求按 280B 总参数算，速度按激活 14B 算。把专家放内存可以用更小的卡跑它，见 稠密与 MoE 的区别。

估算速度（Q4_K_M · 8K）

推算 本站暂无这一模型的实测记录。

显卡状态估算 tok/s
NVIDIA RTX 5090 32G装不下需 offload ≈3–5
NVIDIA RTX 5090 D 32G装不下需 offload ≈3–5
NVIDIA CMP 170HX 64G（矿卡魔改）装不下需 offload ≈3–5
NVIDIA RTX PRO 5000 Blackwell 48G（工作站）装不下需 offload ≈3–5
AMD Instinct MI100 32G（老数据中心卡）装不下需 offload ≈3–5
AMD Instinct MI50 32G（数据卡）装不下需 offload ≈3–5
AMD Radeon VII 16G装不下需 offload ≈3–5
NVIDIA RTX 4090 24G装不下需 offload ≈3–5
NVIDIA RTX 3090 Ti 24G装不下需 offload ≈3–5

同一套公式也用于显卡页，两页数字必然一致。带宽按 60–85% 效率折算（offload 场景更低），并对单流解码设经验上限，因此这里的数字比纯带宽公式保守。 总需显存 = 169.2G，对比各卡可用水位。

实测数据区

暂无实测数据。
上传实测数据

推理框架命令

llama.cpp

# 1) 取 GGUF 权重（本站核实过的仓库名）
huggingface-cli download baidu/ERNIE-5.5-Flash-Base config.json
#   GGUF 量化版通常在第三方转换仓库，搜「baidu/ERNIE-5.5-Flash-Base GGUF」
# 2) 起服务（Linux/macOS 用 ./llama-server，Windows 用 llama-server.exe）
llama-server -m ERNIE-5-5-FLASH-BASE-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080
# MoE：想让专家留在内存以塞更大模型，加 --n-cpu-moe（参数名随版本变，用 --help 确认）

Ollama

# 本站没核实到 Ollama 仓库里有 ERNIE-5.5-Flash-Base 的可用标签，所以不给命令
# 自己去查一眼：https://ollama.com/search?q=ERNIE-5.5-Flash-Base

宁可不给命令，也不给一条跑不通的命令——照抄未核实的标签是新手最常见的卡死原因。

vLLM

vLLM 直接吃 Hugging Face 仓库名，这条最可靠：
vllm serve baidu/ERNIE-5.5-Flash-Base --max-model-len 8192 --gpu-memory-utilization 0.90

LM Studio

模型页搜「baidu/ERNIE-5.5-Flash-Base」→ 选 Q4_K_M 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大

仓库名 baidu/ERNIE-5.5-Flash-Base 是本站核实过的（架构常数就取自它）。Ollama 标签与 GGUF 文件名会随发布方变动，本站不保证一定存在，拉取失败请搜同名前缀。

优化要点

相关

16G 显存有哪些卡看 ERNIE-5.5-Flash-Base 在 16G 这一档和别的卡/模型比是什么位置装不下 / out of memory 怎么排查先确认是权重超容量还是上下文吃光了余量小模型跑 Q8、大模型跑 Q4 对不对？量化档应该由剩余显存决定，不是由参数量决定

有 ERNIE-5.5-Flash-Base 的实测数据？

上传速度 → 进入实测表，并成为这一页的第一行实测。

上传实测数据
这条内容有帮助吗？