要占多少硬盘？要不要 SSD？

模型文件本身 2–40GB 一个，装三五个就上百 GB；建议至少留 200GB 空闲并且必须是 SSD，机械盘会让加载从几秒变成几分钟。

单个 GGUF 的大小约等于权重占用（本站容量表里的『权重』列）：8B Q4_K_M 约 4.8G，14B Q6_K 约 11.5G，32B Q4_K_M 约 19.2G，70B IQ3_XXS 约 26.4G。加上下载缓存和留档对比的版本，实际占用要乘 2。

SSD 的意义在加载速度：模型启动时要从盘读全部权重进内存/显存，SATA SSD 约 0.5GB/s、NVMe 约 3–7GB/s，机械盘约 0.15GB/s。26G 的 70B 模型在 NVMe 上十几秒加载完，在机械盘上要近三分钟。跑起来之后磁盘就不参与了，所以机械盘影响的是启动而不是 tok/s。

如果内存放专家（MoE 大内存玩法），磁盘影响会更明显：系统内存吃紧时会开始用页面文件，那就是在磁盘上模拟内存，速度会崩。所以大内存玩法请配合快速磁盘和真实的足够内存。

顺带一个坑：Windows 上路径带中文或空格会让某些预编译二进制直接闪退，建议把模型统一放在纯英文路径下。