Ling-3.0-flash
关于 Ling-3.0-flash 的完整介绍（点开看；上面就是结论表）
蚂蚁 inclusionAI 2026-07-24 发布（官方博客）、权重 2026-08 开源（~08-07 为推断、未核到日级官方源，故记月级）的 Ling 系列开放权重模型（HF: inclusionAI/Ling-3.0-flash，**MIT**）。124B 总 / 5.1B 激活，config 一手核到：42 层 BailingMoeV3 混合架构（组结构 layer_group_size 6 = 5 KDA 线性 + 1 MLA full / kv_lora_rank 512 压缩 latent）/ 512 路由专家激活 8 + 1 共享 / 纯文本（非多模态，VL/Fin/Santé 是衍生型号）/ 原生 256K ctx。KV 保守兜底 **≈0.04G/4K**（2026-11-13 按 transformers 官方 bailing_hybrid 实现复算）：MLA 套不进标准 GQA 六字段，但层配比不是推断——官方配置类按 layer_group_size 6 规则生成 layer_types（每组最后一层 full MLA、其余 KDA），42 层里 **7 层 MLA**（第 6、12、18、24、30、36、42 层）+ 35 层 KDA（只存定长递归状态、不随上下文增长）；每层 MLA 缓存压缩 latent（kv_lora_rank 512 + qk_rope_head_dim 64 = 576 维 × 2B = 1152B/token）→ 8064B/token，加 1 层 MTP（1152B/token）合计 9216B/token → 每 4K ≈ 0.0352G，取保守上界 0.04G（原手填 0.1G 高估约 2.5 倍）。**留痕**：仓内自带的 modeling_bailing_moe_v3.py 本轮拉取被镜像 503 拒绝，本条按 transformers 官方同名 model_type（bailing_hybrid）实现复算；若仓内副本改为缓存展开后每头 K/V，实际占用会大得多。权重 FP8 ~124G / Q4 ~62G：单卡 24G 装不下，最低 2×A100 80G 或 1×H200（FP8 ~124G）——门槛偏可跑（不是纯集群）。收录理由：蚂蚁 Ling 系 6/1 后入门开放权重（比站内 Ling-3.2-flash 560B 更小一档），MIT 许可干净，读者会搜，给诚实答案页。注意别和站内 Ling-3.2-flash（560B/25B）混淆。他测（2026-11-09 B-066 补，4×RTX 3090 TP4 SGLang INT4 W4A16，alesha-pro 4×3090 基准库，单源 C 级）：1K 单流 **100.4 tok/s**、64K 深度单流 **101.05**（prefill 1740，MLA+KDA 混合架构长文几乎不掉速）、16 并发聚合 **295.9**、NEXTN 内置 MTP 投机 **132.2**（+31.6%；accept_length 3.09 是每步平均接受 token 数非 0–1 概率，acceptance_rate 记 null 不进投机对比）。
实测速度：什么卡、什么量化、多少 token
| 显卡 | 卡数 | 量化 | 上下文 | 框架 / 版本 | decode tok/s | prefill tok/s | 单流/并发 | 投机 | 口径 | 来源 |
|---|---|---|---|---|---|---|---|---|---|---|
| NVIDIA RTX 3090 24G | 4 卡（互联未报） | W4A16 | 1K | SGLang · 0.0.0.dev1+g3f475ee2c（--context-length 262144 --chunked-prefill-size 8192 --tool-call-parser ling3 --reasoning-parser ling3 --enable-fp32-lm-head --disable-shared-experts-fusion） | 100.43 | 未报 | 单流 | 无 | 口径不全·不进对比 缺 2 项 | alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/saturation-1024x256-c1） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05 |
| NVIDIA RTX 3090 24G | 4 卡（互联未报） | W4A16 | 64K | SGLang · 0.0.0.dev1+g3f475ee2c（--context-length 262144 --chunked-prefill-size 8192） | 101.05 | 1740 | 单流 | 无 | 口径不全·不进对比 缺 2 项 | alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/depth-65536x256-c1） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05 |
| NVIDIA RTX 3090 24G | 4 卡（互联未报） | W4A16 | 1K | SGLang · 0.0.0.dev1+g3f475ee2c（--max-running-requests 8） | 295.94 | 未报 | 并发×16 | 无 | 口径不全·不进对比 缺 2 项 | alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，baseline/saturation-1024x256-c16） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05 |
| NVIDIA RTX 3090 24G | 4 卡（互联未报） | W4A16 | 32K | SGLang · 0.0.0.dev1+g3f475ee2c（--speculative-algorithm NEXTN，33K ctx 档） | 132.2 | 未报 | 单流 | 开（接受率 未报） | 口径不全·不进对比 缺 3 项 | alesha-pro/4x3090-llm-benchmarks（ling3-flash-int4-2026-08-05 战役，nextn/saturation-1024x256-c1） alesha-pro（GitHub 社区，4×3090 日更基准库） · 2026-08-05 |
每行是一次真实测量的完整口径：哪张卡、几张卡、什么量化、多大上下文、哪个框架哪个版本、单流还是并发、开没开投机—— 缺一项就会标出来，缺项的行不参与对比与偏差计算。本站实测行没有外链，但日志路径就是原始数据所在。 想看同一张卡跑别的模型，从这个表的显卡名点进那张卡的页面。
速查：什么卡、跑多少 token
推算值按 Q4_K_M、8K 上下文、单流；真实测量看下面的实测速度表。没有实测的模型这里只有推算，本站不把推算写成实测。
架构（非标准 GQA 常数）
此模型是 MLA 多潜注意力 / 压缩稀疏注意力 / 哈希记忆一类架构，套不进本站「层数 × KV头 × 头维」的六字段常数—— 硬填就是编数字，所以这里不假装精确：KV 按官方口径（该模型自己公布的每 token 字节数，含它自己的 KV 精度）的保守近似线性估，容量表标注「近似」。 来源：inclusionAI/Ling-3.0-flash / config.json（抓取于 2026-11-13）。
上下文档位（按 Q4_K_M）
| 上下文 | KV | 总需显存 | 16G 水位内 |
|---|---|---|---|
| 4K | 0.04 G | 75.4 G | 超 |
| 8K | 0.08 G | 75.5 G | 超 |
| 32K | 0.32 G | 75.7 G | 超 |
| 128K | 1.28 G | 76.7 G | 超 |
* 含 1G 框架开销；可用水位按 Windows 口径 88% = 14.1G。
各显存档位能开多大
| 显存 | 推荐量化 | 8K 总需 | 最多可开 |
|---|---|---|---|
| 4G | 装不下 | — | — |
| 6G | 装不下 | — | — |
| 8G | 装不下 | — | — |
| 10G | 装不下 | — | — |
| 11G | 装不下 | — | — |
| 12G | 装不下 | — | — |
| 16G | 装不下 | — | — |
| 20G | 装不下 | — | — |
| 22G | 装不下 | — | — |
| 24G | 装不下 | — | — |
| 32G | 装不下 | — | — |
| 48G | 装不下 | — | — |
| 64G | 装不下 | — | — |
| 96G | Q4_K_M（估算） | 75.5G | 931840（约 910K） |
| 128G | Q6_K（估算） | 102.8G | 1015808（约 992K） |
| 256G | Q6_K（估算） | 102.8G | 12556288（约 12262K） |
| 512G | Q6_K（估算） | 102.8G | 35627008（约 34792K） |
「最多可开」已扣掉权重与 1G 开销；标注为「模型原生上限」时表示显存还有余但模型只支持这么长。净可用还要再减聊天模板与系统提示词的 250 token（估算值，未逐项核实）。量化档后带「（估算）」= 官方仓库没核到这档、按公式算的权重体积（方向保守偏高）；不带 = 核过官方仓库真实文件体积。
估算速度（Q4_K_M · 8K）
推算 本站暂无这一模型的实测记录。
| 显卡 | 状态 | 估算 tok/s |
|---|---|---|
| NVIDIA RTX 5090 32G | 装不下 | 需 offload ≈8–13 |
| NVIDIA RTX 5090 D 32G | 装不下 | 需 offload ≈8–13 |
| NVIDIA CMP 170HX 64G（矿卡魔改） | 装不下 | 需 offload ≈8–13 |
| NVIDIA RTX PRO 5000 Blackwell 48G（工作站） | 装不下 | 需 offload ≈8–13 |
| AMD Instinct MI100 32G（老数据中心卡） | 装不下 | 需 offload ≈8–13 |
| AMD Instinct MI50 32G（数据卡） | 装不下 | 需 offload ≈8–13 |
| AMD Radeon VII 16G | 装不下 | 需 offload ≈8–13 |
| NVIDIA RTX 4090 24G | 装不下 | 需 offload ≈8–13 |
| NVIDIA RTX 3090 Ti 24G | 装不下 | 需 offload ≈8–13 |
同一套公式也用于显卡页，两页数字必然一致。带宽按 60–85% 效率折算（offload 场景更低），并对单流解码设经验上限，因此这里的数字比纯带宽公式保守。 总需显存 = 75.5G，对比各卡可用水位。
实测数据区
上传实测数据
推理框架命令
llama.cpp
# 1) 取 GGUF 权重（本站核实过的仓库名）
huggingface-cli download inclusionAI/Ling-3.0-flash config.json
# GGUF 量化版通常在第三方转换仓库，搜「inclusionAI/Ling-3.0-flash GGUF」
# 2) 起服务（Linux/macOS 用 ./llama-server，Windows 用 llama-server.exe）
llama-server -m LING-3-0-FLASH-Q4_K_M.gguf -ngl 99 -c 8192 --port 8080
# MoE：想让专家留在内存以塞更大模型，加 --n-cpu-moe（参数名随版本变，用 --help 确认）Ollama
# 本站没核实到 Ollama 仓库里有 Ling-3.0-flash 的可用标签，所以不给命令
# 自己去查一眼：https://ollama.com/search?q=Ling-3.0-flash宁可不给命令，也不给一条跑不通的命令——照抄未核实的标签是新手最常见的卡死原因。
vLLM
vLLM 直接吃 Hugging Face 仓库名，这条最可靠：
vllm serve inclusionAI/Ling-3.0-flash --max-model-len 8192 --gpu-memory-utilization 0.90LM Studio
模型页搜「inclusionAI/Ling-3.0-flash」→ 选 Q4_K_M 或 Q4_K_M → Load →
Chat Context Length 设 8192 → GPU Offload 拉到最大仓库名 inclusionAI/Ling-3.0-flash 是本站核实过的（架构常数就取自它）。Ollama 标签与 GGUF 文件名会随发布方变动，本站不保证一定存在，拉取失败请搜同名前缀。
优化要点
- Q4_K_M 权重 74.4G（估算）、Q6_K 101.7G（估算）、Q8_0 131.8G（估算）：带「估算」的是公式值（官方仓库没核到这档），不带的核过真实文件；先在容量表里确认 8K 上下文还剩多少，再决定档位
- 上下文从 8K 提到 32K，KV 增加约 0.2G（本模型 未取到架构常数）
- 模型原生上下文上限是 256K，把 -c 设得更高属于超纲使用，质量不保证
- 想要更长上下文：-ctk q8_0 -ctv q8_0 让 KV 减半，几乎不掉质量
- MoE 速度按激活参数（本站用 5.1B）算，显存却必须装下全部 124B 专家；两者混用会得出完全错误的结论
- 本站对单流解码设了经验上限 200–200 tok/s（依带宽分档），超出上限的数字是公式失真而不是你的卡快