unsloth unslothai/unsloth

能干什么

开源的 LLM / VLM 微调与量化工具包，以 LoRA / QLoRA 训练提速与省显存著称（具体倍数是项目自述口径，本站未复测）。支持 Qwen、Llama、Gemma、DeepSeek 等主流开源模型，提供本地 Web UI，微调完可直接导出 GGUF 量化权重——「微调 → 量化 → 部署」一条链在它里面能走完。

怎么干

• pip install unsloth（依赖 PyTorch / CUDA 环境）
• 按官方 notebook 模板配模型与 LoRA 超参（rank / alpha / 目标模块）
• 4bit QLoRA 起训：消费卡（8–16G 档）微调中小模型的主路径
• 训练完合并权重，导出 GGUF 供 llama.cpp 部署
• 本地 UI 模式下不用写代码也能走完训练流程

本站怎么用

读者「想在自家卡上微调一个自己的小模型」时的首选起点。链路接法：先用本站 /capacity/ 估算「微调后部署」的显存够不够，再训练，最后把自测数字投到 /rank/#upload——微调用显存和推理用显存是两笔账，别混。提速 / 省显存的具体倍数若被读者引用，按「项目自述」口径标注。

显存口径

微调显存 ≠ 推理显存：还要算激活值与优化器状态；部署阶段回到本站容量表的口径。