模型优化 / 显存优化与量化
OmniQuant OpenGVLab/OmniQuant
GitHub 原仓库 ↗· star 969（2026-11-13 同步） · fork 93 · 主语言 Python· 许可 可商用（MIT）MIT（GitHub API 快照值），宽松许可，商用无限制。
能干什么
OmniQuant（ICLR 2024 Spotlight）：针对低比特量化（4bit 及以下）「训不动、掉点狠」的问题，学习逐通道缩放因子与裁剪阈值（可学习 affine 参数）做校准，让低比特量化在有限算力下也可行。官方仓库提供主流开源 LLM 的脚本与预校准参数。定位是「研究结论 + 参考实现」，不是开箱即用的部署工具。
怎么干
- clone 仓库，按文档装依赖
- 准备校准数据集
- 跑仓库脚本做低比特量化（需要一定算力与时间）
- 对照仓库提供的预校准参数（部分模型可直接用）
本站怎么用
读者在论文或模型卡里看到 OmniQuant 量化档时的参考入口。对普通用户它不是首选（LLM 部署场景下开箱工具更省事），它的价值是让「为什么这个低比特档没掉点」有出处可查。
显存口径
4bit 及以下档与位宽表对账以实际文件大小为准。
条目性质：本站原创撰写（能干什么 / 本站怎么用均为本站编辑判断），未搬运原 README 原文。star/fork 为 2026-11-07 检索日快照（源文件 topic_quant_llm_quant_2026-11-07_1518.json），非实时数字；说明为本站原创撰写，未搬运原 README。
相关页面
显存优化与量化 · 其他工具
bitsandbytesPyTorch 生态的 k-bit 量化事实标准：8bit / 4bit，「小卡跑大模型」HF 路线的地基。AutoGPTQ易用的 GPTQ 量化包（4bit / 8bit），transformers 生态老牌路线——但更新已明显放缓。SageAttention清华的量化 Attention 内核（ICLR/ICML/NeurIPS 2025）：注意力加速 2–5 倍（项目自述）。Model-OptimizerNVIDIA 官方模型优化库：量化 / 蒸馏 / 剪枝 / 投机解码一体，TensorRT-LLM 生态标准前置。Strata (strataforge)把 125B 稀疏 MoE 跑进 12GB 游戏机的「显存分层」参考实现：GPU/内存/SSD 三级专家调度 + 投机解码 + 五档低比特量化（项目自述口径）。