bitsandbytes bitsandbytes-foundation/bitsandbytes

能干什么

PyTorch 生态的基础量化库：提供 8-bit 与 4-bit（NF4 / FP4）量化加载，是 Hugging Face transformers + PEFT 组合里「先量化再跑」最常见的底层。不单独提供推理服务，而是嵌在模型加载路径里——加载时声明 8bit / 4bit，权重就按低精度驻留显存。QLoRA 微调的「4bit 底座」就是它。

怎么干

• pip install bitsandbytes（要求 CUDA 环境）
• transformers 加载模型时传 load_in_8bit / load_in_4bit
• 4bit 档位常见为 NF4（正态浮点 4bit）
• 4bit + LoRA（即 QLoRA）做微调

本站怎么用

他测投稿里框架写「transformers + bitsandbytes」时，量化档名是 NF4 / INT8，与 llama.cpp 的 Q4_K_M / Q8_0 不是一一映射——入库时框架与量化字段按原文如实写，位宽表按本站口径对账（NF4 约 4.5bpw 含 scale，不能直接套 Q4 的 4.8）。

显存口径

4bit(NF4) 约 0.5B/参数、8bit 约 1B/参数，量级与本站 Q4 / Q8 档一致，精确 bpw 以实现为准（NF4 严格说 4.5bpw 含 scale）。