NVIDIA RTX 5090 32G：能跑什么模型

32G 显存 · 可用约 28.2G（Windows 口径 88%）· 1792 GB/s 带宽 · Blackwell · 全新 · 后端：cuda / vulkan

显存与带宽双天花板，32G 能全量跑 32B 级 Q8/F16，70B Q4 需 48G 或 offload。定价高，本站不做性价比推荐，只列规格。

能装下39 / 67 个模型

最大能跑到Llama 3.1 70B Instruct（IQ3_XXS）

单流速度上限约 200 tok/s

他测汇总5 条（口径完整 0 条）

一、这张卡能装下哪些模型

能装 / 装不下是推算，不是实测；点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。

Qwen3-4B4BQ8_0 Gemma 3 4B IT4B · 滑窗Q8_0 Qwen3-8B8BQ8_0 Llama 3.1 8B Instruct8BQ8_0 GLM-4-9B 04149BQ8_0 Qwen3-14B14BQ8_0 Gemma 3 12B IT12B · 滑窗Q8_0 Phi-4 14B14.7BQ8_0 GPT-OSS-20B21B · A3.6B · MoEQ8_0 Qwen3-30B-A3B30B · A3B · MoEQ6_K Mistral Small 3.1 24B22BQ8_0 Gemma 3 27B IT27B · 滑窗Q6_K Qwen3-32B32BQ5_K_M DeepSeek-R1-Distill-Qwen-32B32BQ5_K_M Seed-OSS-36B-Instruct36BQ5_K_M Llama 3.1 70B Instruct70BIQ3_XXS Qwen3-235B-A22B235B · A22B · MoE装不下 Qwen3.8-27B26.9BQ6_K Qwen2.5-VL-7B-Instruct7BQ8_0 Qwen3.6-35B-A3B35B · A3B · MoEQ5_K_M Ornith-1.5-35B-A3B36B · A3B · MoEQ5_K_M Terminal-RSI-27B27.8BQ6_K AREX-227.4BQ6_K MiniCPM5-2B2.5BQ8_0 Qwen3.8-Flash-Next125B · A6B · MoE装不下 DeepSeek-V4.1-Flash552B · A8B · MoE装不下 LFM3-1.7B1.7B · 滑窗Q8_0 Muse Glimmer-30B29.8B · 滑窗Q6_K GLM-5.3753B · A40B · MoE装不下 Kimi K32800B · A104B · MoE装不下 Ling-3.2-flash560B · A25B · MoE装不下 Ling-3.1-flash560B · A25B · MoE装不下 MiniMax-M3.1-Flash428B · A23B · MoE装不下小米 MiMo-V2.6-Flash309B · A15B · MoE装不下小米 MiMo-V2.6-Distill-Qwen-9B9BQ8_0 NVIDIA Nemotron 3 Ultra550B · A55B · MoE装不下 GLM-5.3-Flash320B · A18B · MoE装不下 NVIDIA Nemotron 3.5 Lightning 30B30B · A3B · MoEQ6_K NVIDIA Nemotron 3.5 Bolt 74B74B · A9B · MoE装不下 Muse Spark Open 816B816B · A42B · MoE装不下 Beam 1.0 501B501B · A23B · MoE装不下 Qwen3.8-2.4T-A95B2400B · A95B · MoE装不下 Kolibri-178.1B · A3.46B · MoE装不下小米 MiMo-V2.6-Pro-RL1020B · A42B · MoE装不下腾讯混元 Hunyuan-0.5B0.5BQ8_0 腾讯混元 Hunyuan-1.8B1.8BQ8_0 腾讯混元 Hunyuan-4B4BQ8_0 腾讯混元 Hunyuan-7B7BQ8_0 MiniCPM-V 4.7 35B-A3B35.2B · A3.5B · MoEQ5_K_M MiniCPM-V 4.7 1B1.55BQ8_0 Kimi K3.1 Pro2800B · A104B · MoE装不下 Step-5-Preview600B · A27B · MoE装不下 Ling-3.0-flash124B · A5.1B · MoE装不下 Gemma 4 12B Unified11.95B · 滑窗Q8_0 Mistral Large 41050B · A52B · MoE装不下 Inkling975B · A41B · MoE装不下 Inkling-Small276B · A12B · MoE装不下 IBM Granite 4.2 30B30BQ6_K IBM Granite 4.2 8B8BQ8_0 IBM Granite 4.2 3B3BQ8_0 K-EXAONE 2.0750B · A37B · MoE装不下 Tencent Hy4 preview770B · A49B · MoE装不下 MiniMax-M3428B · A23B · MoE装不下 Swift-1.5-Qwen3.8-27B27.8BQ6_K DeepSeek-V4.1-Flash-1017552B · A8B · MoE装不下 ERNIE-5.5-Flash-Base280B · A14B · MoE装不下 DeepSeek-R1-Distill-Qwen-14B14BQ8_0

二、多少 G 显存开多少 K 上下文

行是量化档，列是上下文档位，格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-32B；换别的模型看同一张卡，选一下即可。

· Qwen3-32B，模型原生上下文上限 40960 token

量化	4K	8K	16K	32K	40K	64K	128K	最多可开
Q8_0 34G	36G 混跑	37G 混跑	39G 混跑	43G 混跑	45G 混跑	51G 混跑†	67G 混跑†	权重已超容量
Q6_K 26.2G	28.2G 混跑	29.2G 混跑	31.2G 混跑	35.2G 混跑	37.2G 混跑	43.2G 混跑†	59.2G 混跑†	3584 token（显存）
Q5_K_M 22.4G	24.4G 45–64	25.4G 43–60	27.4G 39–54	31.4G 混跑	33.4G 混跑	39.4G 混跑†	55.4G 混跑†	19456 token（显存）
Q4_K_M 19.2G	21.2G 52–74	22.2G 49–69	24.2G 44–61	28.2G 36–50	30.2G 混跑	36.2G 混跑†	52.2G 混跑†	32768 token（显存）
IQ4_XS 17G	19G 59–83	20G 55–77	22G 48–67	26G 39–54	28G 35–49	34G 混跑†	50G 混跑†	40960 token（模型原生上限）
IQ3_K 14G	16G 70–99	17G 65–90	19G 56–77	23G 44–60	25G 39–54	31G 混跑†	47G 混跑†	40960 token（模型原生上限）
IQ3_XXS 12.1G	14.1G 80–113	15.1G 73–102	17.1G 62–86	21.1G 47–65	23.1G 42–58	29.1G 混跑†	45.1G 混跑†	40960 token（模型原生上限）

格子里上行是总需显存（权重 + 该上下文的 KV + 1G 框架开销），下行是单流 decode 估算 tok/s；「混跑」表示超出显存、要靠内存放层，速度会明显低于同容量的全显存方案。带 ^† 的列超出该模型原生上下文，属于 rope/yarn 超纲使用，质量不保证。全部为推算，非实测。

三、别人测的 NVIDIA RTX 5090 32G 速度（他测汇总）

模型	量化	上下文	框架 / 版本	他测 tok/s	本站推算	偏差	投机与并发	口径	来源
MiniCPM-V 4.7 35B-A3B	Q4_K_M（GGUF，openbmb/MiniCPM-V-4.7-35B-A3B-gguf @1e04eae）	2K	llama.cpp（llama-bench） · master 构建于 2026-10-13（CUDA，需 PR #29416+；driver 610.62）	231.1	—	缺 1 项口径	无投机 · 单流	口径不全·不进对比	Blackwellboy/minicpm-v47-35b-rtx5090（单张 RTX 5090：AWQ vs GGUF Q4 vs Q3 全基准） Blackwellboy · 2026-10-13
Muse Glimmer-30B	NVFP4（Inferact/Muse-Glimmer-30B-NVFP4-W4A4，W4A4 group16，25.42GB）	128K	vLLM（官方 recipe 口径） · 版本未报	68.8	—	缺 2 项口径	无投机 · 单流	口径不全·不进对比	meta-models/Muse-Glimmer-30B（vLLM 官方 recipes，Updated 2026-09-09，RTX 5090 实测节） vLLM Team（recipes） · 2026-09-09
Muse Glimmer-30B	NVFP4（Inferact/Muse-Glimmer-30B-NVFP4-W4A4，W4A4 group16，25.42GB）	128K	vLLM（官方 recipe 口径） · 版本未报 · 2 卡（互联未报）	240	—	缺 4 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	meta-models/Muse-Glimmer-30B（vLLM 官方 recipes，Updated 2026-09-09，2x RTX 5090 节） vLLM Team（recipes） · 2026-09-09
NVIDIA Nemotron 3.5 Bolt 74B	IQ2_XXS+NVFP4+Q8_0	4K	llama.cpp · 版本未报	154.7	—	缺 3 项口径	投机开（接受率未报） · 单流	口径不全·不进对比	74B 的大模型，塞进了 24GB 显卡（知音探索 · B站专栏 · 2026-11-01）知音探索 · 2026-11-01
Qwen3.8-27B	未报	未报	llama.cpp（PrismML 分支） · 版本未报	130	—	缺 5 项口径	无投机 · 单流/并发未说明	口径不全·不进对比	8G 显卡就能跑三进制量化 Qwen3.8-27B，速度 23 tok/s（千尺浪 · 博客园） qianchilang · 2026-09-21

本卡共 5 条，其中 0 条口径完整。 “本站推算”给的是同量化、同上下文、单流口径下的公式区间，两边对不上才值得写进点评。多卡的条目按卡数把带宽线性相加再算，没扣通信开销——这个折算只会把本站推算算高、把他测显得低，所以拿它当“物理上限”看，不当预期值看。

上传实测数据 · 数据规则见数据口径

本卡行情（整卡价）

读者问得最多的第二问：多少钱。下面是能核对出处的整卡价快照——4 条，来自 4 篇不同的文章（4 条合起来的跨度 35000–55000 元）。日期不同、地区不同、全新二手不同，所以不合并、不取平均，照实各存一条，趋势你自己看。

最新快照：全新 ¥48,500（2026-11-11）；二手 ¥55,000（2026-10-21）——各口径的日期可能不同，下表按时间全列。

来源日期	类型	报价（元）	出处
2026-11-11	全新	48500	显卡价格跳水？多位主营显卡产品的商家否认了“高端显卡价格大幅波动”的说法（第一财经（记者华强北实地走访，转述证券时报报道））
2026-11-10	全新	47479	二手显卡价格十一连跌！锐炫B580竟是唯一历史最高价型号（快科技（转述B站芝士华莱士《显卡日报》11月9日数据））
2026-10-21	二手	55000	突然意识到，二手 RTX 5090 都要五万五了（洋芋PotatoNE（微博数码博主，新浪新闻转载））
2026-10-19	全新	35000 – 54000	英伟达GPU短缺失控：5090飙到5.4万，二手也在跟涨，防坑与溢价避坑指南（什么值得买（引南都记者淘宝/京东店铺监测））

报价是来源文章发布时的行情，不是今日实时价；同一张表里不同月份的数字对不上是正常现象，那是行情本身在变。本站不接购物链接、不导购——要买去哪买、值不值，拿上面的区间对着本站的速度推算自己算。

同档显存的其它卡

手上有 32G 卡就点自己的型号；一行一张卡，点开就是那张卡的结论页。

NVIDIA RTX 5090 D 32G32G · 1792 GB/s AMD Instinct MI100 32G（老数据中心卡）32G · 1229 GB/s AMD Instinct MI50 32G（数据卡）32G · 1024 GB/s NVIDIA Tesla V100 32G（数据卡）32G · 900 GB/s NVIDIA RTX PRO 4500 Blackwell 32G（工作站）32G · 896 GB/s NVIDIA RTX 4080 32G（魔改）32G · 736 GB/s NVIDIA RTX 4080 SUPER 32G（魔改）32G · 736 GB/s AMD Radeon PRO R9700 32G（工作站）32G · 640 GB/s AMD Radeon PRO W7800 32G（工作站）32G · 576 GB/s NVIDIA RTX 5000 Ada 32G（工作站）32G · 512 GB/s AMD Radeon PRO W6800 32G（工作站）32G · 512 GB/s 海光深算 K100 32G32G · 400 GB/s

规格与数据来源

上面的显存、带宽、架构数字来自下面这些页面；口径说明逐条附后。没有可核对出处的字段，本站留空，不填一个编出来的数。

口径：规格与档位来自《显卡/闲鱼调研汇总.md》（2026-11-09 本站调研汇总，**无外链**，作者=本站调研，C 级单源待复核）；闲鱼二手价格波动大，只作量级参考，不作购买建议。官方规格来源（https://www.nvidia.com/en-us/geforce/graphics-cards/50-series/）：核心参数（显存/带宽/架构）以该页为准；闲鱼档位仍来自《显卡/闲鱼调研汇总.md》（本机调研，无外链，C 级）。