NVIDIA RTX PRO 5000 Blackwell 48G(工作站):能跑什么模型

48G 显存 · 可用约 42.2G(Windows 口径 88%)· 1344 GB/s 带宽 · Blackwell(RTX PRO 5000,384-bit GDDR7 ECC) · 全新(渠道/零售) · 后端:cuda / vulkan

48GB GDDR7 ECC / 384-bit / 1344GB/s / 300W。官方口径「48 GB of GPU memory and 1.3 TB/s bandwidth」。对本站读者:48G 单卡 ≈ 32B Q4 全驻留档,是「不魔改也能跑 32B」的工作站方案;2026 年初另有 72GB 版本(同带宽同核心,仅容量不同)。零售渠道可买(Dell/PNY/BestBuy),不是只有数据中心的卡。

能装下39 / 67 个模型
最大能跑到Llama 3.1 70B Instruct(IQ4_XS)
单流速度上限约 200 tok/s
他测汇总0 条(口径完整 0 条)

一、这张卡能装下哪些模型

能装 / 装不下是推算,不是实测;点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。

Qwen3-4B4BQ8_0Gemma 3 4B IT4B · 滑窗Q8_0Qwen3-8B8BQ8_0Llama 3.1 8B Instruct8BQ8_0GLM-4-9B 04149BQ8_0Qwen3-14B14BQ8_0Gemma 3 12B IT12B · 滑窗Q8_0Phi-4 14B14.7BQ8_0GPT-OSS-20B21B · A3.6B · MoEQ8_0Qwen3-30B-A3B30B · A3B · MoEQ8_0Mistral Small 3.1 24B22BQ8_0Gemma 3 27B IT27B · 滑窗Q6_KQwen3-32B32BQ8_0DeepSeek-R1-Distill-Qwen-32B32BQ8_0Seed-OSS-36B-Instruct36BQ8_0Llama 3.1 70B Instruct70BIQ4_XSQwen3-235B-A22B235B · A22B · MoE装不下Qwen3.8-27B26.9BQ6_KQwen2.5-VL-7B-Instruct7BQ8_0Qwen3.6-35B-A3B35B · A3B · MoEQ8_0Ornith-1.5-35B-A3B36B · A3B · MoEQ8_0Terminal-RSI-27B27.8BQ8_0AREX-227.4BQ8_0MiniCPM5-2B2.5BQ8_0Qwen3.8-Flash-Next125B · A6B · MoE装不下DeepSeek-V4.1-Flash552B · A8B · MoE装不下LFM3-1.7B1.7B · 滑窗Q8_0Muse Glimmer-30B29.8B · 滑窗Q8_0GLM-5.3753B · A40B · MoE装不下Kimi K32800B · A104B · MoE装不下Ling-3.2-flash560B · A25B · MoE装不下Ling-3.1-flash560B · A25B · MoE装不下MiniMax-M3.1-Flash428B · A23B · MoE装不下小米 MiMo-V2.6-Flash309B · A15B · MoE装不下小米 MiMo-V2.6-Distill-Qwen-9B9BQ8_0NVIDIA Nemotron 3 Ultra550B · A55B · MoE装不下GLM-5.3-Flash320B · A18B · MoE装不下NVIDIA Nemotron 3.5 Lightning 30B30B · A3B · MoEQ8_0NVIDIA Nemotron 3.5 Bolt 74B74B · A9B · MoE装不下Muse Spark Open 816B816B · A42B · MoE装不下Beam 1.0 501B501B · A23B · MoE装不下Qwen3.8-2.4T-A95B2400B · A95B · MoE装不下Kolibri-178.1B · A3.46B · MoE装不下小米 MiMo-V2.6-Pro-RL1020B · A42B · MoE装不下腾讯混元 Hunyuan-0.5B0.5BQ8_0腾讯混元 Hunyuan-1.8B1.8BQ8_0腾讯混元 Hunyuan-4B4BQ8_0腾讯混元 Hunyuan-7B7BQ8_0MiniCPM-V 4.7 35B-A3B35.2B · A3.5B · MoEQ8_0MiniCPM-V 4.7 1B1.55BQ8_0Kimi K3.1 Pro2800B · A104B · MoE装不下Step-5-Preview600B · A27B · MoE装不下Ling-3.0-flash124B · A5.1B · MoE装不下Gemma 4 12B Unified11.95B · 滑窗Q8_0Mistral Large 41050B · A52B · MoE装不下Inkling975B · A41B · MoE装不下Inkling-Small276B · A12B · MoE装不下IBM Granite 4.2 30B30BQ8_0IBM Granite 4.2 8B8BQ8_0IBM Granite 4.2 3B3BQ8_0K-EXAONE 2.0750B · A37B · MoE装不下Tencent Hy4 preview770B · A49B · MoE装不下MiniMax-M3428B · A23B · MoE装不下Swift-1.5-Qwen3.8-27B27.8BQ8_0DeepSeek-V4.1-Flash-1017552B · A8B · MoE装不下ERNIE-5.5-Flash-Base280B · A14B · MoE装不下DeepSeek-R1-Distill-Qwen-14B14BQ8_0
二、多少 G 显存开多少 K 上下文

行是量化档,列是上下文档位,格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-32B;换别的模型看同一张卡,选一下即可。

· Qwen3-32B,模型原生上下文上限 40960 token
量化4K8K16K32K40K64K128K最多可开
Q8_0 34G36G 23–3237G 22–3139G 21–2943G 混跑45G 混跑51G 混跑†67G 混跑†29184 token(显存)
Q6_K 26.2G28.2G 29–4129.2G 28–3931.2G 26–3635.2G 22–3037.2G 20–2843.2G 混跑†59.2G 混跑†40960 token(模型原生上限)
Q5_K_M 22.4G24.4G 34–4825.4G 32–4527.4G 29–4131.4G 24–3433.4G 23–3139.4G 18–25†55.4G 混跑†40960 token(模型原生上限)
Q4_K_M 19.2G21.2G 39–5522.2G 37–5224.2G 33–4628.2G 27–3730.2G 25–3436.2G 20–27†52.2G 混跑†40960 token(模型原生上限)
IQ4_XS 17G19G 44–6220G 41–5822G 36–5026G 29–4028G 27–3734G 21–29†50G 混跑†40960 token(模型原生上限)
IQ3_K 14G16G 53–7417G 48–6819G 42–5823G 33–4525G 30–4131G 23–31†47G 混跑†40960 token(模型原生上限)
IQ3_XXS 12.1G14.1G 60–8515.1G 55–7717.1G 46–6421.1G 35–4923.1G 32–4429.1G 24–33†45.1G 混跑†40960 token(模型原生上限)

格子里上行是总需显存(权重 + 该上下文的 KV + 1G 框架开销),下行是单流 decode 估算 tok/s;「混跑」表示超出显存、要靠内存放层,速度会明显低于同容量的全显存方案。带 † 的列超出该模型原生上下文,属于 rope/yarn 超纲使用,质量不保证。全部为推算,非实测。

三、别人测的 NVIDIA RTX PRO 5000 Blackwell 48G(工作站) 速度(他测汇总)

这张卡还没有他测数据。有 NVIDIA RTX PRO 5000 Blackwell 48G(工作站) 的实测?上传你的实测。

上传实测数据 · 数据规则见 数据口径

本卡行情(整卡价)

本卡暂无可核对出处的整卡价快照。语料里出现过的价格必须带作者、链接、发布日期才入库, 没有就空着——价格是最容易过期、也最容易被编的字段。

同档显存的其它卡

手上有 48G 卡就点自己的型号;一行一张卡,点开就是那张卡的结论页。

NVIDIA RTX 4090 48G(魔改)48G · 1008 GB/sNVIDIA RTX 6000 Ada 48G(工作站)48G · 960 GB/sAMD Radeon PRO W7900 48G(工作站)48G · 864 GB/sAMD Radeon PRO W7800 48G(工作站)48G · 864 GB/s摩尔线程 MTT S4000 48G(国产·推理加速卡)48G · 768 GB/sNVIDIA RTX A6000 48G(工作站)48G · 768 GB/sApple M3 Max 48G(统一内存)48G · 400 GB/sApple M4 Pro 48G(统一内存)48G · 273 GB/s

规格与数据来源

上面的显存、带宽、架构数字来自下面这些页面;口径说明逐条附后。没有可核对出处的字段,本站留空,不填一个编出来的数。

口径:48 GB GDDR7 with ECC / 1344 GB/s(官方 datasheet 原文「48 GB of GPU memory and 1.3 TB/s bandwidth」)/ 300W 逐字来自 NVIDIA 官方 RTX PRO 5000 Blackwell 产品页与 datasheet(2026-11-08 抓取)。官方 Quick Specs 另列 72GB 配置(同带宽同核心数),本条为 48G 版。

这条内容有帮助吗?