稠密模型和 MoE 有什么区别？为什么 30B-A3B 可能比 14B 还快？

MoE 每次只激活一小部分参数，所以它『显存按总量算、速度按激活量算』。30B-A3B 每 token 只读约 3B 权重，能比 14B 稠密模型快 3 倍。

稠密（dense）模型每一层都要全部参数参与计算。MoE（混合专家）把每层的 FFN 拆成很多个『专家』，路由器每个 token 只挑几个专家算。名字里的 A3B / A22B 就是 Active 激活参数量：Qwen3-30B-A3B 总参数 30B、每 token 激活 3B；Qwen3-235B-A22B 总 235B、激活 22B。

关键差别在算速度时用哪个数：显存占用必须按总参数（所有专家都得在机器里待着），但速度按激活参数（每 token 只搬这些字节）。用总量算速度会把 235B-A22B 估成 0.7 tok/s，而真实值是 20–40 tok/s 量级——错 30 倍。本站速度引擎对 MoE 一律按激活参数折算。

MoE 还有一个独门用法：把专家权重放在内存、把注意力层放在显存。这样 16G 卡能『用上 30B 级模型』，代价是每 token 要跨 PCIe 搬数据，速度大约 25–35 tok/s（本站按内存带宽 55GB/s 的一半效率估）。稠密模型不能这么玩，因为它每个 token 都要读全部权重。

MoE 的弱点：同总参数下它比稠密模型更吃内存（专家多、文件大），而且指令遵循质量有时不如同参数稠密模型。别只盯着『A3B 好快』。