NVIDIA RTX 4060 8G：能跑什么模型
8G显存入门卡，适合7B-8B Q4模型，32B无望。
能装下21 / 67 个模型
最大能跑到Phi-4 14B（IQ3_XXS）
单流速度上限约 140 tok/s
他测汇总1 条（口径完整 0 条）
一、这张卡能装下哪些模型
能装 / 装不下是推算，不是实测；点开一行是这个模型的完整文章。带测试环境的真机数字在第三节。
Qwen3-4B4BQ8_0Gemma 3 4B IT4B · 滑窗Q8_0Qwen3-8B8BQ4_K_MLlama 3.1 8B Instruct8BQ4_K_MGLM-4-9B 04149BQ4_K_MQwen3-14B14BIQ3_XXSGemma 3 12B IT12B · 滑窗IQ3_XXSPhi-4 14B14.7BIQ3_XXSGPT-OSS-20B21B · A3.6B · MoE装不下Qwen3-30B-A3B30B · A3B · MoE装不下Mistral Small 3.1 24B22B装不下Gemma 3 27B IT27B · 滑窗装不下Qwen3-32B32B装不下DeepSeek-R1-Distill-Qwen-32B32B装不下Seed-OSS-36B-Instruct36B装不下Llama 3.1 70B Instruct70B装不下Qwen3-235B-A22B235B · A22B · MoE装不下Qwen3.8-27B26.9B装不下Qwen2.5-VL-7B-Instruct7BQ5_K_MQwen3.6-35B-A3B35B · A3B · MoE装不下Ornith-1.5-35B-A3B36B · A3B · MoE装不下Terminal-RSI-27B27.8B装不下AREX-227.4B装不下MiniCPM5-2B2.5BQ8_0Qwen3.8-Flash-Next125B · A6B · MoE装不下DeepSeek-V4.1-Flash552B · A8B · MoE装不下LFM3-1.7B1.7B · 滑窗Q8_0Muse Glimmer-30B29.8B · 滑窗装不下GLM-5.3753B · A40B · MoE装不下Kimi K32800B · A104B · MoE装不下Ling-3.2-flash560B · A25B · MoE装不下Ling-3.1-flash560B · A25B · MoE装不下MiniMax-M3.1-Flash428B · A23B · MoE装不下小米 MiMo-V2.6-Flash309B · A15B · MoE装不下小米 MiMo-V2.6-Distill-Qwen-9B9BQ4_K_MNVIDIA Nemotron 3 Ultra550B · A55B · MoE装不下GLM-5.3-Flash320B · A18B · MoE装不下NVIDIA Nemotron 3.5 Lightning 30B30B · A3B · MoE装不下NVIDIA Nemotron 3.5 Bolt 74B74B · A9B · MoE装不下Muse Spark Open 816B816B · A42B · MoE装不下Beam 1.0 501B501B · A23B · MoE装不下Qwen3.8-2.4T-A95B2400B · A95B · MoE装不下Kolibri-178.1B · A3.46B · MoE装不下小米 MiMo-V2.6-Pro-RL1020B · A42B · MoE装不下腾讯混元 Hunyuan-0.5B0.5BQ8_0腾讯混元 Hunyuan-1.8B1.8BQ8_0腾讯混元 Hunyuan-4B4BQ8_0腾讯混元 Hunyuan-7B7BQ5_K_MMiniCPM-V 4.7 35B-A3B35.2B · A3.5B · MoE装不下MiniCPM-V 4.7 1B1.55BQ8_0Kimi K3.1 Pro2800B · A104B · MoE装不下Step-5-Preview600B · A27B · MoE装不下Ling-3.0-flash124B · A5.1B · MoE装不下Gemma 4 12B Unified11.95B · 滑窗IQ3_XXSMistral Large 41050B · A52B · MoE装不下Inkling975B · A41B · MoE装不下Inkling-Small276B · A12B · MoE装不下IBM Granite 4.2 30B30B装不下IBM Granite 4.2 8B8BQ4_K_MIBM Granite 4.2 3B3BQ8_0K-EXAONE 2.0750B · A37B · MoE装不下Tencent Hy4 preview770B · A49B · MoE装不下MiniMax-M3428B · A23B · MoE装不下Swift-1.5-Qwen3.8-27B27.8B装不下DeepSeek-V4.1-Flash-1017552B · A8B · MoE装不下ERNIE-5.5-Flash-Base280B · A14B · MoE装不下DeepSeek-R1-Distill-Qwen-14B14BIQ3_XXS
二、多少 G 显存开多少 K 上下文
行是量化档，列是上下文档位，格子里是「总需显存 / 估算 tok/s」。这张表回答的是「开到 32K、40K 还剩多少」这类问题。默认展开Qwen3-14B；换别的模型看同一张卡，选一下即可。
· Qwen3-14B，模型原生上下文上限 40960 token| 量化 | 4K | 8K | 16K | 32K | 40K | 64K | 128K | 最多可开 |
|---|---|---|---|---|---|---|---|---|
| Q8_0 14.9G | 16.5G 混跑 | 17.1G 混跑 | 18.4G 混跑 | 20.9G 混跑 | 22.1G 混跑 | 25.9G 混跑† | 35.9G 混跑† | 权重已超容量 |
| Q6_K 11.5G | 13.1G 混跑 | 13.7G 混跑 | 15G 混跑 | 17.5G 混跑 | 18.7G 混跑 | 22.5G 混跑† | 32.5G 混跑† | 权重已超容量 |
| Q5_K_M 9.8G | 11.4G 混跑 | 12G 混跑 | 13.3G 混跑 | 15.8G 混跑 | 17G 混跑 | 20.8G 混跑† | 30.8G 混跑† | 权重已超容量 |
| Q4_K_M 8.4G | 10G 混跑 | 10.7G 混跑 | 11.9G 混跑 | 14.4G 混跑 | 15.7G 混跑 | 19.4G 混跑† | 29.4G 混跑† | 权重已超容量 |
| IQ4_XS 7.4G | 9.1G 混跑 | 9.7G 混跑 | 10.9G 混跑 | 13.4G 混跑 | 14.7G 混跑 | 18.4G 混跑† | 28.4G 混跑† | 权重已超容量 |
| IQ3_K 6.1G | 7.8G 混跑 | 8.4G 混跑 | 9.6G 混跑 | 12.1G 混跑 | 13.4G 混跑 | 17.1G 混跑† | 27.1G 混跑† | 权重已超容量 |
| IQ3_XXS 5.3G | 6.9G 27–37 | 7.5G 混跑 | 8.8G 混跑 | 11.3G 混跑 | 12.5G 混跑 | 16.3G 混跑† | 26.3G 混跑† | 4608 token（显存） |
格子里上行是总需显存（权重 + 该上下文的 KV + 1G 框架开销），下行是单流 decode 估算 tok/s；「混跑」表示超出显存、要靠内存放层，速度会明显低于同容量的全显存方案。带 † 的列超出该模型原生上下文，属于 rope/yarn 超纲使用，质量不保证。全部为推算，非实测。
三、别人测的 NVIDIA RTX 4060 8G 速度（他测汇总）
| 模型 | 量化 | 上下文 | 框架 / 版本 | 他测 tok/s | 本站推算 | 偏差 | 投机与并发 | 口径 | 来源 |
|---|---|---|---|---|---|---|---|---|---|
| LFM3-1.7B | 手工 FP8（e4m3，作者自制 checkpoint） | 未报 | SGLang（PR #46858 pre-release，含原生 Lfm3ForCausalLM） · transformers 5.21 / flashinfer 0.7.2 / sglang-kernel 0.4.10 | 3647.2 | — | 缺 2 项口径 | 无投机 · 并发×64 | 口径不全·不进对比 | Running LFM3 on an RTX 4060 Laptop GPU with SGLang（Swamix 正式修正版） Nikhil（Swamix Global AI Solutions） · 2026-10-29 |
本卡共 1 条，其中 0 条口径完整。 “本站推算”给的是同量化、同上下文、单流口径下的公式区间，两边对不上才值得写进点评。 多卡的条目按卡数把带宽线性相加再算，没扣通信开销——这个折算只会把本站推算算高、把他测显得低，所以拿它当“物理上限”看，不当预期值看。
本卡行情（整卡价）
本卡暂无可核对出处的整卡价快照。语料里出现过的价格必须带作者、链接、发布日期才入库， 没有就空着——价格是最容易过期、也最容易被编的字段。
同档显存的其它卡
手上有 8G 卡就点自己的型号；一行一张卡，点开就是那张卡的结论页。
AMD R9 295X2 8G8G · 640 GB/sNVIDIA RTX 3070 Ti 8G8G · 624 GB/sIntel Arc A750 8G8G · 512 GB/sIntel Arc A580 8G8G · 512 GB/sIntel Arc A770 8G8G · 512 GB/sNVIDIA RTX 2080 SUPER 8G8G · 496 GB/sAMD RX Vega 64 8G8G · 484 GB/sNVIDIA GeForce RTX 3060 Ti 8G8G · 448 GB/sNVIDIA RTX 2060 SUPER 8G8G · 448 GB/sNVIDIA RTX 2070 8G8G · 448 GB/sNVIDIA RTX 2070 SUPER 8G8G · 448 GB/sNVIDIA RTX 2080 8G8G · 448 GB/s
规格与数据来源
上面的显存、带宽、架构数字来自下面这些页面；口径说明逐条附后。没有可核对出处的字段，本站留空，不填一个编出来的数。
口径：规格与档位来自《显卡/闲鱼调研汇总.md》（2026-11-09 本站调研汇总，**无外链**，作者=本站调研，C 级单源待复核）；闲鱼二手价格波动大，只作量级参考，不作购买建议。官方产品页未取得（nvidia.com 对应页 404 或未上架），规格为二手渠道/社区口径，C 级单源待复核。 官方规格来源（https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/）：核心参数（显存/带宽/架构）以该页为准；闲鱼档位仍来自《显卡/闲鱼调研汇总.md》（本机调研，无外链，C 级）。