同档横评
每档模型在代表卡上的能不能跑 + 多快。英伟达 / AMD / 英特尔 / 国产 / 数据卡 / 统一内存各占一席。 表里只写「装不下」是不够的，所以每个格子还给了本站推荐的那一档量化。
口径：可用显存 = 显存 × 88%（Windows，为什么不是满容量）； 需求 = 权重 + 8K 上下文 KV + 1G 框架开销；速度为估算区间。
4B 档 档 · 9 个模型
| 显卡 | 显存/带宽 | Qwen3-4B 4B | Gemma 3 4B IT 4B | MiniCPM5-2B 2.5B | LFM3-1.7B 1.7B | 腾讯混元 Hunyuan-0.5B 0.5B | 腾讯混元 Hunyuan-1.8B 1.8B | 腾讯混元 Hunyuan-4B 4B | MiniCPM-V 4.7 1B 1.55B | IBM Granite 4.2 3B 3B |
|---|---|---|---|---|---|---|---|---|---|---|
| NVIDIA RTX 4060 Ti 16G | 16G 288 GB/s | 流畅 30–42 tok/s Q8_0 · 需 6.4G/可用 14.1G | 流畅 37–53 tok/s Q8_0 · 需 5.5G/可用 14.1G | 流畅 56–78 tok/s Q8_0 · 需 4G/可用 14.1G | 流畅 89–125 tok/s Q8_0 · 需 2.9G/可用 14.1G | 流畅 113–140 tok/s Q8_0 · 需 2.3G/可用 14.1G | 流畅 67–93 tok/s Q8_0 · 需 3.4G/可用 14.1G | 流畅 30–42 tok/s Q8_0 · 需 6.4G/可用 14.1G | 流畅 98–138 tok/s Q8_0 · 需 2.7G/可用 14.1G | 流畅 43–60 tok/s Q8_0 · 需 4.8G/可用 14.1G |
| NVIDIA RTX 3090 24G | 24G 936 GB/s | 流畅 98–136 tok/s Q8_0 · 需 6.4G/可用 21.1G | 流畅 122–172 tok/s Q8_0 · 需 5.5G/可用 21.1G | 流畅 182–200 tok/s Q8_0 · 需 4G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 2.9G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 2.3G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 3.4G/可用 21.1G | 流畅 98–136 tok/s Q8_0 · 需 6.4G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 2.7G/可用 21.1G | 流畅 140–195 tok/s Q8_0 · 需 4.8G/可用 21.1G |
| NVIDIA RTX 4090 24G | 24G 1008 GB/s | 流畅 105–147 tok/s Q8_0 · 需 6.4G/可用 21.1G | 流畅 131–185 tok/s Q8_0 · 需 5.5G/可用 21.1G | 流畅 195–200 tok/s Q8_0 · 需 4G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 2.9G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 2.3G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 3.4G/可用 21.1G | 流畅 105–147 tok/s Q8_0 · 需 6.4G/可用 21.1G | 流畅 200 tok/s Q8_0 · 需 2.7G/可用 21.1G | 流畅 150–200 tok/s Q8_0 · 需 4.8G/可用 21.1G |
| AMD RX 7900 GRE 16G | 16G 578 GB/s | 流畅 60–84 tok/s Q8_0 · 需 6.4G/可用 14.1G | 流畅 75–106 tok/s Q8_0 · 需 5.5G/可用 14.1G | 流畅 112–140 tok/s Q8_0 · 需 4G/可用 14.1G | 流畅 140 tok/s Q8_0 · 需 2.9G/可用 14.1G | 流畅 140 tok/s Q8_0 · 需 2.3G/可用 14.1G | 流畅 134–140 tok/s Q8_0 · 需 3.4G/可用 14.1G | 流畅 60–84 tok/s Q8_0 · 需 6.4G/可用 14.1G | 流畅 140 tok/s Q8_0 · 需 2.7G/可用 14.1G | 流畅 86–121 tok/s Q8_0 · 需 4.8G/可用 14.1G |
| AMD Instinct MI50 32G（数据卡） | 32G 1024 GB/s | 流畅 107–149 tok/s Q8_0 · 需 6.4G/可用 28.2G | 流畅 133–188 tok/s Q8_0 · 需 5.5G/可用 28.2G | 流畅 199–200 tok/s Q8_0 · 需 4G/可用 28.2G | 流畅 200 tok/s Q8_0 · 需 2.9G/可用 28.2G | 流畅 200 tok/s Q8_0 · 需 2.3G/可用 28.2G | 流畅 200 tok/s Q8_0 · 需 3.4G/可用 28.2G | 流畅 107–149 tok/s Q8_0 · 需 6.4G/可用 28.2G | 流畅 200 tok/s Q8_0 · 需 2.7G/可用 28.2G | 流畅 153–200 tok/s Q8_0 · 需 4.8G/可用 28.2G |
| NVIDIA Tesla P40 24G（数据卡） | 24G 480 GB/s | 流畅 50–70 tok/s Q8_0 · 需 6.4G/可用 21.1G | 流畅 62–88 tok/s Q8_0 · 需 5.5G/可用 21.1G | 流畅 93–131 tok/s Q8_0 · 需 4G/可用 21.1G | 流畅 140 tok/s Q8_0 · 需 2.9G/可用 21.1G | 流畅 140 tok/s Q8_0 · 需 2.3G/可用 21.1G | 流畅 112–140 tok/s Q8_0 · 需 3.4G/可用 21.1G | 流畅 50–70 tok/s Q8_0 · 需 6.4G/可用 21.1G | 流畅 140 tok/s Q8_0 · 需 2.7G/可用 21.1G | 流畅 72–100 tok/s Q8_0 · 需 4.8G/可用 21.1G |
| 摩尔线程 MTT S80 16G（国产） | 16G 448 GB/s | 流畅 47–65 tok/s Q8_0 · 需 6.4G/可用 14.1G | 流畅 58–82 tok/s Q8_0 · 需 5.5G/可用 14.1G | 流畅 87–122 tok/s Q8_0 · 需 4G/可用 14.1G | 流畅 138–140 tok/s Q8_0 · 需 2.9G/可用 14.1G | 流畅 140 tok/s Q8_0 · 需 2.3G/可用 14.1G | 流畅 104–140 tok/s Q8_0 · 需 3.4G/可用 14.1G | 流畅 47–65 tok/s Q8_0 · 需 6.4G/可用 14.1G | 流畅 140 tok/s Q8_0 · 需 2.7G/可用 14.1G | 流畅 67–93 tok/s Q8_0 · 需 4.8G/可用 14.1G |
| NVIDIA RTX 3080 20G（魔改） | 20G 760 GB/s | 流畅 79–111 tok/s Q8_0 · 需 6.4G/可用 17.6G | 流畅 99–139 tok/s Q8_0 · 需 5.5G/可用 17.6G | 流畅 140 tok/s Q8_0 · 需 4G/可用 17.6G | 流畅 140 tok/s Q8_0 · 需 2.9G/可用 17.6G | 流畅 140 tok/s Q8_0 · 需 2.3G/可用 17.6G | 流畅 140 tok/s Q8_0 · 需 3.4G/可用 17.6G | 流畅 79–111 tok/s Q8_0 · 需 6.4G/可用 17.6G | 流畅 140 tok/s Q8_0 · 需 2.7G/可用 17.6G | 流畅 113–140 tok/s Q8_0 · 需 4.8G/可用 17.6G |
| Apple M4 Max 128G（统一内存） | 128G 546 GB/s | 流畅 57–79 tok/s Q8_0 · 需 6.4G/可用 112.6G | 流畅 71–100 tok/s Q8_0 · 需 5.5G/可用 112.6G | 流畅 106–140 tok/s Q8_0 · 需 4G/可用 112.6G | 流畅 140 tok/s Q8_0 · 需 2.9G/可用 112.6G | 流畅 140 tok/s Q8_0 · 需 2.3G/可用 112.6G | 流畅 127–140 tok/s Q8_0 · 需 3.4G/可用 112.6G | 流畅 57–79 tok/s Q8_0 · 需 6.4G/可用 112.6G | 流畅 140 tok/s Q8_0 · 需 2.7G/可用 112.6G | 流畅 81–114 tok/s Q8_0 · 需 4.8G/可用 112.6G |
7B 档 档 · 7 个模型
| 显卡 | 显存/带宽 | Qwen3-8B 8B | Llama 3.1 8B Instruct 8B | GLM-4-9B 0414 9B | Qwen2.5-VL-7B-Instruct 7B | 小米 MiMo-V2.6-Distill-Qwen-9B 9B | 腾讯混元 Hunyuan-7B 7B | IBM Granite 4.2 8B 8B |
|---|---|---|---|---|---|---|---|---|
| NVIDIA RTX 4060 Ti 16G | 16G 288 GB/s | 能跑但紧 17–24 tok/s Q8_0 · 需 10.6G/可用 14.1G | 能跑但紧 18–25 tok/s Q8_0 · 需 10.5G/可用 14.1G | 能跑但紧 17–24 tok/s Q8_0 · 需 10.9G/可用 14.1G | 流畅 22–30 tok/s Q8_0 · 需 8.9G/可用 14.1G | 能跑但紧 17–25 tok/s Q8_0 · 需 10.8G/可用 14.1G | 流畅 20–28 tok/s Q8_0 · 需 9.4G/可用 14.1G | 能跑但紧 17–24 tok/s Q8_0 · 需 10.8G/可用 14.1G |
| NVIDIA RTX 3090 24G | 24G 936 GB/s | 流畅 56–79 tok/s Q8_0 · 需 10.6G/可用 21.1G | 流畅 57–80 tok/s Q8_0 · 需 10.5G/可用 21.1G | 流畅 56–80 tok/s Q8_0 · 需 10.9G/可用 21.1G | 流畅 70–99 tok/s Q8_0 · 需 8.9G/可用 21.1G | 流畅 57–80 tok/s Q8_0 · 需 10.8G/可用 21.1G | 流畅 64–90 tok/s Q8_0 · 需 9.4G/可用 21.1G | 流畅 55–77 tok/s Q8_0 · 需 10.8G/可用 21.1G |
| NVIDIA RTX 4090 24G | 24G 1008 GB/s | 流畅 60–85 tok/s Q8_0 · 需 10.6G/可用 21.1G | 流畅 62–86 tok/s Q8_0 · 需 10.5G/可用 21.1G | 流畅 61–86 tok/s Q8_0 · 需 10.9G/可用 21.1G | 流畅 75–106 tok/s Q8_0 · 需 8.9G/可用 21.1G | 流畅 61–86 tok/s Q8_0 · 需 10.8G/可用 21.1G | 流畅 69–97 tok/s Q8_0 · 需 9.4G/可用 21.1G | 流畅 59–83 tok/s Q8_0 · 需 10.8G/可用 21.1G |
| AMD RX 7900 GRE 16G | 16G 578 GB/s | 能跑但紧 35–49 tok/s Q8_0 · 需 10.6G/可用 14.1G | 能跑但紧 35–50 tok/s Q8_0 · 需 10.5G/可用 14.1G | 能跑但紧 35–49 tok/s Q8_0 · 需 10.9G/可用 14.1G | 流畅 43–61 tok/s Q8_0 · 需 8.9G/可用 14.1G | 能跑但紧 35–50 tok/s Q8_0 · 需 10.8G/可用 14.1G | 流畅 40–55 tok/s Q8_0 · 需 9.4G/可用 14.1G | 能跑但紧 34–48 tok/s Q8_0 · 需 10.8G/可用 14.1G |
| AMD Instinct MI50 32G（数据卡） | 32G 1024 GB/s | 流畅 61–86 tok/s Q8_0 · 需 10.6G/可用 28.2G | 流畅 62–88 tok/s Q8_0 · 需 10.5G/可用 28.2G | 流畅 62–87 tok/s Q8_0 · 需 10.9G/可用 28.2G | 流畅 77–108 tok/s Q8_0 · 需 8.9G/可用 28.2G | 流畅 62–88 tok/s Q8_0 · 需 10.8G/可用 28.2G | 流畅 70–98 tok/s Q8_0 · 需 9.4G/可用 28.2G | 流畅 60–85 tok/s Q8_0 · 需 10.8G/可用 28.2G |
| NVIDIA Tesla P40 24G（数据卡） | 24G 480 GB/s | 流畅 29–40 tok/s Q8_0 · 需 10.6G/可用 21.1G | 流畅 29–41 tok/s Q8_0 · 需 10.5G/可用 21.1G | 流畅 29–41 tok/s Q8_0 · 需 10.9G/可用 21.1G | 流畅 36–51 tok/s Q8_0 · 需 8.9G/可用 21.1G | 流畅 29–41 tok/s Q8_0 · 需 10.8G/可用 21.1G | 流畅 33–46 tok/s Q8_0 · 需 9.4G/可用 21.1G | 流畅 28–40 tok/s Q8_0 · 需 10.8G/可用 21.1G |
| 摩尔线程 MTT S80 16G（国产） | 16G 448 GB/s | 能跑但紧 27–38 tok/s Q8_0 · 需 10.6G/可用 14.1G | 能跑但紧 27–38 tok/s Q8_0 · 需 10.5G/可用 14.1G | 能跑但紧 27–38 tok/s Q8_0 · 需 10.9G/可用 14.1G | 流畅 34–47 tok/s Q8_0 · 需 8.9G/可用 14.1G | 能跑但紧 27–38 tok/s Q8_0 · 需 10.8G/可用 14.1G | 流畅 31–43 tok/s Q8_0 · 需 9.4G/可用 14.1G | 能跑但紧 26–37 tok/s Q8_0 · 需 10.8G/可用 14.1G |
| NVIDIA RTX 3080 20G（魔改） | 20G 760 GB/s | 流畅 46–64 tok/s Q8_0 · 需 10.6G/可用 17.6G | 流畅 46–65 tok/s Q8_0 · 需 10.5G/可用 17.6G | 流畅 46–65 tok/s Q8_0 · 需 10.9G/可用 17.6G | 流畅 57–80 tok/s Q8_0 · 需 8.9G/可用 17.6G | 流畅 46–65 tok/s Q8_0 · 需 10.8G/可用 17.6G | 流畅 52–73 tok/s Q8_0 · 需 9.4G/可用 17.6G | 流畅 45–63 tok/s Q8_0 · 需 10.8G/可用 17.6G |
| Apple M4 Max 128G（统一内存） | 128G 546 GB/s | 流畅 33–46 tok/s Q8_0 · 需 10.6G/可用 112.6G | 流畅 33–47 tok/s Q8_0 · 需 10.5G/可用 112.6G | 流畅 33–46 tok/s Q8_0 · 需 10.9G/可用 112.6G | 流畅 41–58 tok/s Q8_0 · 需 8.9G/可用 112.6G | 流畅 33–47 tok/s Q8_0 · 需 10.8G/可用 112.6G | 流畅 37–52 tok/s Q8_0 · 需 9.4G/可用 112.6G | 流畅 32–45 tok/s Q8_0 · 需 10.8G/可用 112.6G |
14B 档 档 · 5 个模型
| 显卡 | 显存/带宽 | Qwen3-14B 14B | Gemma 3 12B IT 12B | Phi-4 14B 14.7B | Gemma 4 12B Unified 11.95B | DeepSeek-R1-Distill-Qwen-14B 14B |
|---|---|---|---|---|---|---|
| NVIDIA RTX 4060 Ti 16G | 16G 288 GB/s | 能跑但紧 13–18 tok/s Q6_K · 需 13.7G/可用 14.1G | 能跑但紧 16–22 tok/s Q6_K · 需 11.7G/可用 14.1G | 能跑但紧 14–20 tok/s Q5_K_M · 需 12.9G/可用 14.1G | 能跑但紧 16–23 tok/s Q6_K · 需 11.4G/可用 14.1G | 能跑但紧 13–18 tok/s Q6_K · 需 14G/可用 14.1G |
| NVIDIA RTX 3090 24G | 24G 936 GB/s | 能跑但紧 34–48 tok/s Q8_0 · 需 17.1G/可用 21.1G | 流畅 41–57 tok/s Q8_0 · 需 14.6G/可用 21.1G | 能跑但紧 32–45 tok/s Q8_0 · 需 18.2G/可用 21.1G | 流畅 42–59 tok/s Q8_0 · 需 14.3G/可用 21.1G | 能跑但紧 33–47 tok/s Q8_0 · 需 17.4G/可用 21.1G |
| NVIDIA RTX 4090 24G | 24G 1008 GB/s | 能跑但紧 37–51 tok/s Q8_0 · 需 17.1G/可用 21.1G | 流畅 44–62 tok/s Q8_0 · 需 14.6G/可用 21.1G | 能跑但紧 34–48 tok/s Q8_0 · 需 18.2G/可用 21.1G | 流畅 45–63 tok/s Q8_0 · 需 14.3G/可用 21.1G | 能跑但紧 36–50 tok/s Q8_0 · 需 17.4G/可用 21.1G |
| AMD RX 7900 GRE 16G | 16G 578 GB/s | 能跑但紧 26–37 tok/s Q6_K · 需 13.7G/可用 14.1G | 能跑但紧 32–45 tok/s Q6_K · 需 11.7G/可用 14.1G | 能跑但紧 28–39 tok/s Q5_K_M · 需 12.9G/可用 14.1G | 能跑但紧 33–46 tok/s Q6_K · 需 11.4G/可用 14.1G | 能跑但紧 26–36 tok/s Q6_K · 需 14G/可用 14.1G |
| AMD Instinct MI50 32G（数据卡） | 32G 1024 GB/s | 流畅 37–52 tok/s Q8_0 · 需 17.1G/可用 28.2G | 流畅 44–63 tok/s Q8_0 · 需 14.6G/可用 28.2G | 流畅 35–49 tok/s Q8_0 · 需 18.2G/可用 28.2G | 流畅 46–64 tok/s Q8_0 · 需 14.3G/可用 28.2G | 流畅 36–51 tok/s Q8_0 · 需 17.4G/可用 28.2G |
| NVIDIA Tesla P40 24G（数据卡） | 24G 480 GB/s | 能跑但紧 17–25 tok/s Q8_0 · 需 17.1G/可用 21.1G | 流畅 21–29 tok/s Q8_0 · 需 14.6G/可用 21.1G | 能跑但紧 16–23 tok/s Q8_0 · 需 18.2G/可用 21.1G | 流畅 21–30 tok/s Q8_0 · 需 14.3G/可用 21.1G | 能跑但紧 17–24 tok/s Q8_0 · 需 17.4G/可用 21.1G |
| 摩尔线程 MTT S80 16G（国产） | 16G 448 GB/s | 能跑但紧 20–29 tok/s Q6_K · 需 13.7G/可用 14.1G | 能跑但紧 25–35 tok/s Q6_K · 需 11.7G/可用 14.1G | 能跑但紧 22–30 tok/s Q5_K_M · 需 12.9G/可用 14.1G | 能跑但紧 25–36 tok/s Q6_K · 需 11.4G/可用 14.1G | 能跑但紧 20–28 tok/s Q6_K · 需 14G/可用 14.1G |
| NVIDIA RTX 3080 20G（魔改） | 20G 760 GB/s | 能跑但紧 28–39 tok/s Q8_0 · 需 17.1G/可用 17.6G | 能跑但紧 33–46 tok/s Q8_0 · 需 14.6G/可用 17.6G | 能跑但紧 32–45 tok/s Q6_K · 需 14.6G/可用 17.6G | 能跑但紧 34–48 tok/s Q8_0 · 需 14.3G/可用 17.6G | 能跑但紧 27–38 tok/s Q8_0 · 需 17.4G/可用 17.6G |
| Apple M4 Max 128G（统一内存） | 128G 546 GB/s | 流畅 20–28 tok/s Q8_0 · 需 17.1G/可用 112.6G | 流畅 24–33 tok/s Q8_0 · 需 14.6G/可用 112.6G | 流畅 19–26 tok/s Q8_0 · 需 18.2G/可用 112.6G | 流畅 24–34 tok/s Q8_0 · 需 14.3G/可用 112.6G | 流畅 19–27 tok/s Q8_0 · 需 17.4G/可用 112.6G |
27B 档 档 · 17 个模型
| 显卡 | 显存/带宽 | GPT-OSS-20B 21B（激活 3.6） | Qwen3-30B-A3B 30B（激活 3） | Mistral Small 3.1 24B 22B | Gemma 3 27B IT 27B | Qwen3-32B 32B | DeepSeek-R1-Distill-Qwen-32B 32B | Seed-OSS-36B-Instruct 36B | Qwen3.8-27B 26.9B | Qwen3.6-35B-A3B 35B（激活 3） | Ornith-1.5-35B-A3B 36B（激活 3） | Terminal-RSI-27B 27.8B | AREX-2 27.4B | Muse Glimmer-30B 29.8B | NVIDIA Nemotron 3.5 Lightning 30B 30B（激活 3） | MiniCPM-V 4.7 35B-A3B 35.2B（激活 3.5） | IBM Granite 4.2 30B 30B | Swift-1.5-Qwen3.8-27B 27.8B |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| NVIDIA RTX 4060 Ti 16G | 16G 288 GB/s | 能跑但紧 72–101 tok/s Q4_K_M · 需 13.8G/可用 14.1G | 能跑但紧 81–112 tok/s IQ3_XXS · 需 13.1G/可用 14.1G | 能跑但紧 13–18 tok/s IQ4_XS · 需 13.9G/可用 14.1G | 能跑但紧 13–18 tok/s IQ3_K · 需 13.8G/可用 14.1G | 装不下 IQ3_XXS · 需 15.1G/可用 14.1G（约 9% 层放内存） | 装不下 IQ3_XXS · 需 15.1G/可用 14.1G（约 9% 层放内存） | 装不下 IQ3_XXS · 需 16.6G/可用 14.1G（约 17% 层放内存） | 装不下 IQ4_XS · 需 15.8G/可用 14.1G（约 13% 层放内存） | 能跑但紧 140 tok/s GSQ-2bit · 需 12.6G/可用 14.1G | 装不下 IQ4_XS · 需 20.3G/可用 14.1G（约 32% 层放内存） | 能跑但紧 13–19 tok/s IQ3_K · 需 13.7G/可用 14.1G | 能跑但紧 14–19 tok/s IQ3_K · 需 13.5G/可用 14.1G | 能跑但紧 15–21 tok/s IQ3_XXS · 需 12.4G/可用 14.1G | 装不下 Q4_K_M · 需 19G/可用 14.1G（约 28% 层放内存） | 装不下 Q4_K_M · 需 22.3G/可用 14.1G（约 38% 层放内存） | 装不下 Q4_K_M · 需 21G/可用 14.1G（约 34% 层放内存） | 能跑但紧 14–19 tok/s IQ3_M · 需 13.5G/可用 14.1G |
| NVIDIA RTX 3090 24G | 24G 936 GB/s | 流畅 200 tok/s Q4_K_M · 需 13.8G/可用 21.1G | 能跑但紧 200 tok/s Q4_K_M · 需 19.8G/可用 21.1G | 能跑但紧 28–40 tok/s Q6_K · 需 20.3G/可用 21.1G | 能跑但紧 28–39 tok/s Q5_K_M · 需 20.9G/可用 21.1G | 能跑但紧 29–40 tok/s IQ4_XS · 需 20G/可用 21.1G | 能跑但紧 29–40 tok/s IQ4_XS · 需 20G/可用 21.1G | 能跑但紧 30–43 tok/s IQ3_K · 需 18.8G/可用 21.1G | 能跑但紧 29–41 tok/s Q5_K_M · 需 20.3G/可用 21.1G | 能跑但紧 200 tok/s IQ4_XS · 需 17.7G/可用 21.1G | 能跑但紧 200 tok/s IQ4_XS · 需 20.3G/可用 21.1G | 能跑但紧 28–39 tok/s Q5_K_M · 需 21G/可用 21.1G | 能跑但紧 28–40 tok/s Q5_K_M · 需 20.7G/可用 21.1G | 能跑但紧 31–44 tok/s Q4_K_M · 需 19.1G/可用 21.1G | 能跑但紧 200 tok/s Q4_K_M · 需 19G/可用 21.1G | 装不下 Q4_K_M · 需 22.3G/可用 21.1G（约 7% 层放内存） | 能跑但紧 27–38 tok/s Q4_K_M · 需 21G/可用 21.1G | 能跑但紧 28–39 tok/s Q5_K_M · 需 21G/可用 21.1G |
| NVIDIA RTX 4090 24G | 24G 1008 GB/s | 流畅 200 tok/s Q4_K_M · 需 13.8G/可用 21.1G | 能跑但紧 200 tok/s Q4_K_M · 需 19.8G/可用 21.1G | 能跑但紧 31–43 tok/s Q6_K · 需 20.3G/可用 21.1G | 能跑但紧 30–42 tok/s Q5_K_M · 需 20.9G/可用 21.1G | 能跑但紧 31–43 tok/s IQ4_XS · 需 20G/可用 21.1G | 能跑但紧 31–43 tok/s IQ4_XS · 需 20G/可用 21.1G | 能跑但紧 33–46 tok/s IQ3_K · 需 18.8G/可用 21.1G | 能跑但紧 31–44 tok/s Q5_K_M · 需 20.3G/可用 21.1G | 能跑但紧 200 tok/s IQ4_XS · 需 17.7G/可用 21.1G | 能跑但紧 200 tok/s IQ4_XS · 需 20.3G/可用 21.1G | 能跑但紧 30–42 tok/s Q5_K_M · 需 21G/可用 21.1G | 能跑但紧 30–43 tok/s Q5_K_M · 需 20.7G/可用 21.1G | 能跑但紧 33–47 tok/s Q4_K_M · 需 19.1G/可用 21.1G | 能跑但紧 200 tok/s Q4_K_M · 需 19G/可用 21.1G | 装不下 Q4_K_M · 需 22.3G/可用 21.1G（约 7% 层放内存） | 能跑但紧 29–41 tok/s Q4_K_M · 需 21G/可用 21.1G | 能跑但紧 30–42 tok/s Q5_K_M · 需 21G/可用 21.1G |
| AMD RX 7900 GRE 16G | 16G 578 GB/s | 能跑但紧 140 tok/s Q4_K_M · 需 13.8G/可用 14.1G | 能跑但紧 140 tok/s IQ3_XXS · 需 13.1G/可用 14.1G | 能跑但紧 26–37 tok/s IQ4_XS · 需 13.9G/可用 14.1G | 能跑但紧 26–37 tok/s IQ3_K · 需 13.8G/可用 14.1G | 装不下 IQ3_XXS · 需 15.1G/可用 14.1G（约 9% 层放内存） | 装不下 IQ3_XXS · 需 15.1G/可用 14.1G（约 9% 层放内存） | 装不下 IQ3_XXS · 需 16.6G/可用 14.1G（约 17% 层放内存） | 装不下 IQ4_XS · 需 15.8G/可用 14.1G（约 13% 层放内存） | 能跑但紧 140 tok/s GSQ-2bit · 需 12.6G/可用 14.1G | 装不下 IQ4_XS · 需 20.3G/可用 14.1G（约 32% 层放内存） | 能跑但紧 27–38 tok/s IQ3_K · 需 13.7G/可用 14.1G | 能跑但紧 27–39 tok/s IQ3_K · 需 13.5G/可用 14.1G | 能跑但紧 30–43 tok/s IQ3_XXS · 需 12.4G/可用 14.1G | 装不下 Q4_K_M · 需 19G/可用 14.1G（约 28% 层放内存） | 装不下 Q4_K_M · 需 22.3G/可用 14.1G（约 38% 层放内存） | 装不下 Q4_K_M · 需 21G/可用 14.1G（约 34% 层放内存） | 能跑但紧 27–39 tok/s IQ3_M · 需 13.5G/可用 14.1G |
| AMD Instinct MI50 32G（数据卡） | 32G 1024 GB/s | 能跑但紧 151–200 tok/s Q8_0 · 需 23.5G/可用 28.2G | 能跑但紧 178–200 tok/s Q6_K · 需 26.4G/可用 28.2G | 能跑但紧 25–35 tok/s Q8_0 · 需 25.6G/可用 28.2G | 能跑但紧 26–37 tok/s Q6_K · 需 24.2G/可用 28.2G | 能跑但紧 25–34 tok/s Q5_K_M · 需 25.4G/可用 28.2G | 能跑但紧 25–34 tok/s Q5_K_M · 需 25.4G/可用 28.2G | 能跑但紧 22–31 tok/s Q5_K_M · 需 28.2G/可用 28.2G | 能跑但紧 27–38 tok/s Q6_K · 需 23.6G/可用 28.2G | 能跑但紧 200 tok/s Q5_K_M · 需 25.8G/可用 28.2G | 能跑但紧 200 tok/s Q5_K_M · 需 24.8G/可用 28.2G | 能跑但紧 26–37 tok/s Q6_K · 需 24.3G/可用 28.2G | 能跑但紧 27–38 tok/s Q6_K · 需 24G/可用 28.2G | 能跑但紧 25–35 tok/s Q6_K · 需 25.6G/可用 28.2G | 能跑但紧 200 tok/s Q6_K · 需 25.6G/可用 28.2G | 能跑但紧 200 tok/s Q5_K_M · 需 25.8G/可用 28.2G | 能跑但紧 23–32 tok/s Q6_K · 需 27.6G/可用 28.2G | 能跑但紧 26–37 tok/s Q6_K · 需 24.3G/可用 28.2G |
| NVIDIA Tesla P40 24G（数据卡） | 24G 480 GB/s | 流畅 119–140 tok/s Q4_K_M · 需 13.8G/可用 21.1G | 能跑但紧 103–140 tok/s Q4_K_M · 需 19.8G/可用 21.1G | 能跑但紧 15–21 tok/s Q6_K · 需 20.3G/可用 21.1G | 能跑但紧 14–20 tok/s Q5_K_M · 需 20.9G/可用 21.1G | 能跑但紧 15–21 tok/s IQ4_XS · 需 20G/可用 21.1G | 能跑但紧 15–21 tok/s IQ4_XS · 需 20G/可用 21.1G | 能跑但紧 16–22 tok/s IQ3_K · 需 18.8G/可用 21.1G | 能跑但紧 15–21 tok/s Q5_K_M · 需 20.3G/可用 21.1G | 能跑但紧 140 tok/s IQ4_XS · 需 17.7G/可用 21.1G | 能跑但紧 140 tok/s IQ4_XS · 需 20.3G/可用 21.1G | 能跑但紧 14–20 tok/s Q5_K_M · 需 21G/可用 21.1G | 能跑但紧 15–21 tok/s Q5_K_M · 需 20.7G/可用 21.1G | 能跑但紧 16–23 tok/s Q4_K_M · 需 19.1G/可用 21.1G | 能跑但紧 140 tok/s Q4_K_M · 需 19G/可用 21.1G | 装不下 Q4_K_M · 需 22.3G/可用 21.1G（约 7% 层放内存） | 能跑但紧 14–20 tok/s Q4_K_M · 需 21G/可用 21.1G | 能跑但紧 14–20 tok/s Q5_K_M · 需 21G/可用 21.1G |
| 摩尔线程 MTT S80 16G（国产） | 16G 448 GB/s | 能跑但紧 111–140 tok/s Q4_K_M · 需 13.8G/可用 14.1G | 能跑但紧 126–140 tok/s IQ3_XXS · 需 13.1G/可用 14.1G | 能跑但紧 20–28 tok/s IQ4_XS · 需 13.9G/可用 14.1G | 能跑但紧 20–29 tok/s IQ3_K · 需 13.8G/可用 14.1G | 装不下 IQ3_XXS · 需 15.1G/可用 14.1G（约 9% 层放内存） | 装不下 IQ3_XXS · 需 15.1G/可用 14.1G（约 9% 层放内存） | 装不下 IQ3_XXS · 需 16.6G/可用 14.1G（约 17% 层放内存） | 装不下 IQ4_XS · 需 15.8G/可用 14.1G（约 13% 层放内存） | 能跑但紧 140 tok/s GSQ-2bit · 需 12.6G/可用 14.1G | 装不下 IQ4_XS · 需 20.3G/可用 14.1G（约 32% 层放内存） | 能跑但紧 21–30 tok/s IQ3_K · 需 13.7G/可用 14.1G | 能跑但紧 21–30 tok/s IQ3_K · 需 13.5G/可用 14.1G | 能跑但紧 23–33 tok/s IQ3_XXS · 需 12.4G/可用 14.1G | 装不下 Q4_K_M · 需 19G/可用 14.1G（约 28% 层放内存） | 装不下 Q4_K_M · 需 22.3G/可用 14.1G（约 38% 层放内存） | 装不下 Q4_K_M · 需 21G/可用 14.1G（约 34% 层放内存） | 能跑但紧 21–30 tok/s IQ3_M · 需 13.5G/可用 14.1G |
| NVIDIA RTX 3080 20G（魔改） | 20G 760 GB/s | 能跑但紧 140 tok/s Q4_K_M · 需 13.8G/可用 17.6G | 能跑但紧 140 tok/s IQ3_K · 需 14.9G/可用 17.6G | 能跑但紧 31–43 tok/s Q4_K_M · 需 15.5G/可用 17.6G | 能跑但紧 29–41 tok/s IQ4_XS · 需 16.4G/可用 17.6G | 能跑但紧 27–38 tok/s IQ3_K · 需 17G/可用 17.6G | 能跑但紧 27–38 tok/s IQ3_K · 需 17G/可用 17.6G | 能跑但紧 28–39 tok/s IQ3_XXS · 需 16.6G/可用 17.6G | 能跑但紧 30–43 tok/s IQ4_XS · 需 15.8G/可用 17.6G | 流畅 140 tok/s GSQ-2bit · 需 12.6G/可用 17.6G | 装不下 IQ4_XS · 需 20.3G/可用 17.6G（约 15% 层放内存） | 能跑但紧 30–42 tok/s IQ4_XS · 需 16.3G/可用 17.6G | 能跑但紧 30–42 tok/s IQ4_XS · 需 16.1G/可用 17.6G | 能跑但紧 28–40 tok/s IQ4_XS · 需 17G/可用 17.6G | 装不下 Q4_K_M · 需 19G/可用 17.6G（约 10% 层放内存） | 装不下 Q4_K_M · 需 22.3G/可用 17.6G（约 23% 层放内存） | 装不下 Q4_K_M · 需 21G/可用 17.6G（约 18% 层放内存） | 能跑但紧 30–42 tok/s IQ4_XS · 需 16.3G/可用 17.6G |
| Apple M4 Max 128G（统一内存） | 128G 546 GB/s | 流畅 80–113 tok/s Q8_0 · 需 23.5G/可用 112.6G | 流畅 78–109 tok/s Q8_0 · 需 33.6G/可用 112.6G | 流畅 13–18 tok/s Q8_0 · 需 25.6G/可用 112.6G | 流畅 14–20 tok/s Q6_K · 需 24.2G/可用 112.6G | 流畅 9–13 tok/s Q8_0 · 需 37G/可用 112.6G | 流畅 9–13 tok/s Q8_0 · 需 37G/可用 112.6G | 流畅 8–11 tok/s Q8_0 · 需 41.3G/可用 112.6G | 流畅 14–20 tok/s Q6_K · 需 23.6G/可用 112.6G | 流畅 104–140 tok/s Q8_0 · 需 35.6G/可用 112.6G | 流畅 104–140 tok/s Q8_0 · 需 36.4G/可用 112.6G | 流畅 11–15 tok/s Q8_0 · 需 31G/可用 112.6G | 流畅 11–16 tok/s Q8_0 · 需 30.6G/可用 112.6G | 流畅 10–15 tok/s Q8_0 · 需 32.8G/可用 112.6G | 流畅 101–140 tok/s Q8_0 · 需 32.9G/可用 112.6G | 流畅 83–118 tok/s Q8_0 · 需 38.6G/可用 112.6G | 流畅 9–13 tok/s Q8_0 · 需 34.9G/可用 112.6G | 流畅 11–15 tok/s Q8_0 · 需 31G/可用 112.6G |
70B+ 档 档 · 29 个模型
| 显卡 | 显存/带宽 | Llama 3.1 70B Instruct 70B | Qwen3-235B-A22B 235B（激活 22） | Qwen3.8-Flash-Next 125B（激活 6） | DeepSeek-V4.1-Flash 552B（激活 8） | GLM-5.3 753B（激活 40） | Kimi K3 2800B（激活 104） | Ling-3.2-flash 560B（激活 25） | Ling-3.1-flash 560B（激活 25） | MiniMax-M3.1-Flash 428B（激活 23） | 小米 MiMo-V2.6-Flash 309B（激活 15） | NVIDIA Nemotron 3 Ultra 550B（激活 55） | GLM-5.3-Flash 320B（激活 18） | NVIDIA Nemotron 3.5 Bolt 74B 74B（激活 9） | Muse Spark Open 816B 816B（激活 42） | Beam 1.0 501B 501B（激活 23） | Qwen3.8-2.4T-A95B 2400B（激活 95） | Kolibri-1 78.1B（激活 3.46） | 小米 MiMo-V2.6-Pro-RL 1020B（激活 42） | Kimi K3.1 Pro 2800B（激活 104） | Step-5-Preview 600B（激活 27） | Ling-3.0-flash 124B（激活 5.1） | Mistral Large 4 1050B（激活 52） | Inkling 975B（激活 41） | Inkling-Small 276B（激活 12） | K-EXAONE 2.0 750B（激活 37） | Tencent Hy4 preview 770B（激活 49） | MiniMax-M3 428B（激活 23） | DeepSeek-V4.1-Flash-1017 552B（激活 8） | ERNIE-5.5-Flash-Base 280B（激活 14） |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| NVIDIA RTX 4060 Ti 16G | 16G 288 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 14.1G（约 54% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 14.1G（约 85% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 14.1G（约 79% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 14.1G（约 96% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 14.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 14.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 14.1G（约 69% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 14.1G（约 71% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 14.1G（约 81% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 14.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 14.1G（约 97% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 14.1G（约 94% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 14.1G（约 92% 层放内存） |
| NVIDIA RTX 3090 24G | 24G 936 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 21.1G（约 31% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 21.1G（约 77% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 21.1G（约 69% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 21.1G（约 94% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 21.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 21.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 21.1G（约 89% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 21.1G（约 89% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 21.1G（约 54% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 21.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 21.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 21.1G（约 56% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 21.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 21.1G（约 72% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 21.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 21.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 21.1G（约 87% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 21.1G（约 95% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 21.1G（约 91% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 21.1G（约 88% 层放内存） |
| NVIDIA RTX 4090 24G | 24G 1008 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 21.1G（约 31% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 21.1G（约 77% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 21.1G（约 69% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 21.1G（约 94% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 21.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 21.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 21.1G（约 89% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 21.1G（约 89% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 21.1G（约 54% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 21.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 21.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 21.1G（约 56% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 21.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 21.1G（约 72% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 21.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 21.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 21.1G（约 87% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 21.1G（约 95% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 21.1G（约 91% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 21.1G（约 88% 层放内存） |
| AMD RX 7900 GRE 16G | 16G 578 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 14.1G（约 54% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 14.1G（约 85% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 14.1G（约 79% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 14.1G（约 96% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 14.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 14.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 14.1G（约 69% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 14.1G（约 71% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 14.1G（约 81% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 14.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 14.1G（约 97% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 14.1G（约 94% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 14.1G（约 92% 层放内存） |
| AMD Instinct MI50 32G（数据卡） | 32G 1024 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 28.2G（约 7% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 28.2G（约 69% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 28.2G（约 59% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 28.2G（约 92% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 28.2G（约 94% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 28.2G（约 98% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 28.2G（约 92% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 28.2G（约 91% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 28.2G（约 89% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 28.2G（约 85% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 28.2G（约 91% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 28.2G（约 85% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 28.2G（约 39% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 28.2G（约 94% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 28.2G（约 91% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 28.2G（约 98% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 28.2G（约 42% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 28.2G（约 95% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 28.2G（约 98% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 28.2G（约 92% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 28.2G（约 63% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 28.2G（约 96% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 28.2G（约 95% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 28.2G（约 83% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 28.2G（约 94% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 28.2G（约 94% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 28.2G（约 88% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 28.2G（约 93% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 28.2G（约 83% 层放内存） |
| NVIDIA Tesla P40 24G（数据卡） | 24G 480 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 21.1G（约 31% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 21.1G（约 77% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 21.1G（约 69% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 21.1G（约 94% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 21.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 21.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 21.1G（约 89% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 21.1G（约 89% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 21.1G（约 54% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 21.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 21.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 21.1G（约 56% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 21.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 21.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 21.1G（约 94% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 21.1G（约 72% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 21.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 21.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 21.1G（约 87% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 21.1G（约 95% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 21.1G（约 91% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 21.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 21.1G（约 88% 层放内存） |
| 摩尔线程 MTT S80 16G（国产） | 16G 448 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 14.1G（约 54% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 14.1G（约 85% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 14.1G（约 79% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 14.1G（约 96% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 14.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 14.1G（约 93% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 14.1G（约 69% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 14.1G（约 95% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 14.1G（约 71% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 14.1G（约 99% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 14.1G（约 81% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 14.1G（约 98% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 14.1G（约 92% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 14.1G（约 97% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 14.1G（约 97% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 14.1G（约 94% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 14.1G（约 96% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 14.1G（约 92% 层放内存） |
| NVIDIA RTX 3080 20G（魔改） | 20G 760 GB/s | 装不下 IQ3_XXS · 需 29.9G/可用 17.6G（约 42% 层放内存） | 装不下 IQ3_XXS · 需 91.2G/可用 17.6G（约 81% 层放内存） | 装不下 IQ4_XS · 需 67.6G/可用 17.6G（约 74% 层放内存） | 装不下 Q4_K_M · 需 332.2G/可用 17.6G（约 95% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 17.6G（约 96% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 17.6G（约 99% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 17.6G（约 95% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 17.6G（约 94% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 17.6G（约 93% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 17.6G（约 91% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 17.6G（约 95% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 17.6G（约 91% 层放内存） | 装不下 Q4_K_M · 需 45.5G/可用 17.6G（约 62% 层放内存） | 装不下 Q4_K_M · 需 492.5G/可用 17.6G（约 96% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 17.6G（约 94% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 17.6G（约 99% 层放内存） | 装不下 Q4_K_M · 需 48G/可用 17.6G（约 64% 层放内存） | 装不下 Q4_K_M · 需 613.5G/可用 17.6G（约 97% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 17.6G（约 99% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 17.6G（约 95% 层放内存） | 装不下 Q4_K_M · 需 75.5G/可用 17.6G（约 77% 层放内存） | 装不下 Q4_K_M · 需 631.6G/可用 17.6G（约 97% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 17.6G（约 97% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 17.6G（约 89% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 17.6G（约 96% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 17.6G（约 96% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 17.6G（约 92% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 17.6G（约 95% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 17.6G（约 90% 层放内存） |
| Apple M4 Max 128G（统一内存） | 128G 546 GB/s | 流畅 4–6 tok/s Q8_0 · 需 77.9G/可用 112.6G | 能跑但紧 28–40 tok/s IQ3_K · 需 105.3G/可用 112.6G | 能跑但紧 63–89 tok/s Q6_K · 需 103.7G/可用 112.6G | 装不下 Q4_K_M · 需 332.2G/可用 112.6G（约 66% 层放内存） | 装不下 Q4_K_M · 需 453.5G/可用 112.6G（约 75% 层放内存） | 装不下 Q4_K_M · 需 1681.2G/可用 112.6G（约 93% 层放内存） | 装不下 Q4_K_M · 需 337.6G/可用 112.6G（约 67% 层放内存） | 装不下 IQ4_XS · 需 296.4G/可用 112.6G（约 62% 层放内存） | 装不下 Q4_K_M · 需 258.7G/可用 112.6G（约 57% 层放内存） | 装不下 Q4_K_M · 需 186.6G/可用 112.6G（约 40% 层放内存） | 装不下 Q4_K_M · 需 331.1G/可用 112.6G（约 66% 层放内存） | 装不下 Q4_K_M · 需 193.1G/可用 112.6G（约 42% 层放内存） | 流畅 34–48 tok/s Q8_0 · 需 79.7G/可用 112.6G | 装不下 Q4_K_M · 需 492.5G/可用 112.6G（约 77% 层放内存） | 装不下 Q4_K_M · 需 302G/可用 112.6G（约 63% 层放内存） | 装不下 Q4_K_M · 需 1441.7G/可用 112.6G（约 92% 层放内存） | 能跑但紧 85–121 tok/s Q8_0 · 需 84.1G/可用 112.6G | 装不下 Q4_K_M · 需 613.5G/可用 112.6G（约 82% 层放内存） | 装不下 Q4_K_M · 需 1681.3G/可用 112.6G（约 93% 层放内存） | 装不下 Q4_K_M · 需 361.6G/可用 112.6G（约 69% 层放内存） | 能跑但紧 76–108 tok/s Q6_K · 需 102.8G/可用 112.6G | 装不下 Q4_K_M · 需 631.6G/可用 112.6G（约 82% 层放内存） | 装不下 Q4_K_M · 需 586.6G/可用 112.6G（约 81% 层放内存） | 装不下 Q4_K_M · 需 166.9G/可用 112.6G（约 33% 层放内存） | 装不下 Q4_K_M · 需 451.7G/可用 112.6G（约 75% 层放内存） | 装不下 Q4_K_M · 需 463.7G/可用 112.6G（约 76% 层放内存） | 装不下 IQ4_XS · 需 229.3G/可用 112.6G（约 51% 层放内存） | 装不下 Q5_K_M · 需 387.4G/可用 112.6G（约 71% 层放内存） | 装不下 Q4_K_M · 需 169.2G/可用 112.6G（约 34% 层放内存） |
这张表刻意不排「谁最强」——那是导购干的事。它只回答：同一档模型里，谁的显存刚好够、谁的带宽跑得动。 选卡请按你的显存档位看 容量表（4 / 6 / 8 / 10 / 11 / 12 / 16 / 20 / 22 / 24 / 32 / 48 / 64 / 96 / 128 / 256 / 512G），比速度更要紧的是先装得下。