模型优化：52 个 GitHub 精选工具，按 6 个分类平铺
推理框架
llama.cpp★134,549C/C++ 写的 LLM 推理引擎，GGUF 生态的地基——消费卡跑大模型最通用的第一站。llama-cpp-python★10,678llama.cpp 的 Python 封装：pip 一装，Python 脚本里直接加载 GGUF 模型。ipex-llm★8,843Intel 的本地 LLM 推理与微调加速库：iGPU / NPU / Arc 独显的主要路线。Ollama★186,816本地跑开源模型的一行命令入口（ollama run qwen3）——绝大多数教程与第三方界面的后端就是它。vLLM★96,838高吞吐 LLM 推理引擎（PagedAttention 出处）：要并发、要吞吐、24G 及以上档位的主力。SGLang★38,797高性能 serving 框架（RadixAttention）：多轮对话 / 树形分支场景的 KV 前缀复用是其招牌。llmfit★38,952Rust 命令行：一条命令告诉你某模型在哪些硬件上跑得动，并集成社区实测榜。Strata★43,549把 125B 的 Qwen3.8-Flash-Next 塞进 12G 消费卡的推理引擎：专家分层放 GPU/内存/SSD，Windows / Linux 一键装，本地起 OpenAI / Anthropic 兼容 API。KoboldCpp★12,299单文件零安装的本地推理：一个 exe 拖个 GGUF 就能跑，弱机/纯 CPU 也友好。LM Studio (lms CLI)★5,423LM Studio 的命令行入口：装过 LM Studio 桌面版的人，一条 lms 命令就能脚本化跑模型。LocalAI★50,342开源本地 AI 引擎：聊天、视觉、语音、图像、视频全模型类型走一个服务器，OpenAI 兼容 API 直接替换，无 GPU 也能跑。
显存优化与量化
bitsandbytes★8,538PyTorch 生态的 k-bit 量化事实标准：8bit / 4bit，「小卡跑大模型」HF 路线的地基。AutoGPTQ★5,068易用的 GPTQ 量化包（4bit / 8bit），transformers 生态老牌路线——但更新已明显放缓。SageAttention★4,007清华的量化 Attention 内核（ICLR/ICML/NeurIPS 2025）：注意力加速 2–5 倍（项目自述）。Model-Optimizer★5,597NVIDIA 官方模型优化库：量化 / 蒸馏 / 剪枝 / 投机解码一体，TensorRT-LLM 生态标准前置。OmniQuant★969ICLR 2024 Spotlight 量化方法：低比特（4bit 以下）也能训得动的校准方案，属研究型参考实现。Strata (strataforge)★0把 125B 稀疏 MoE 跑进 12GB 游戏机的「显存分层」参考实现：GPU/内存/SSD 三级专家调度 + 投机解码 + 五档低比特量化（项目自述口径）。
模型微调
前端与分发
Open WebUI★158,506最流行的本地模型 Web 界面：Ollama / OpenAI API 兼容，装完即「本地 ChatGPT 体验」。llamafile★26,625llama.cpp + Cosmopolitan 的单文件可执行体：模型与引擎打成一个 .llamafile，下载即跑。GPT4All★77,355在任意设备上本地跑 LLM 的桌面应用：装好就能下模型、就能聊，给不想折腾命令行的人。Jan★45,692100% 离线跑的 ChatGPT 替代品（桌面 App）：聊天 + 知识库 + 应用，数据不出本机。Cherry Studio★53,460国产维护的桌面 AI 工作台：多模型、多助手、绘画、翻译、知识库，一个客户端收口。LobeChat★85,170高完成度的聊天前端：助手市场、插件、TTS/STT、知识库，接本地或在线模型都行。SillyTavern★35,569进阶玩家本地聊天前端：人设/卡面/扩展生态极丰富，接任意本地或在线后端。text-gen-webui (textgen)★47,739老牌本地 LLM 桌面/Web 界面：文本、看图、工具调用、OpenAI 兼容 API 都有，100% 私有。
图像/视频生成
Agent 工具
OpenClaw★394,412跑在自己电脑上的开源 AI 助理（Agent）：接 WhatsApp / Telegram / Discord / iMessage 等 20+ 渠道，模型可换成本地模型，状态与凭证全在自己硬件上。Open Lovable★28,905把任意一个网站克隆成一个现代 React 应用：贴一个网址，AI 分析结构后生成带 TypeScript / Tailwind 的完整代码库，代码归你。Whisper★112,605开源语音转写：把说话/录音转成文字，模型小到能在 2G 显存甚至 CPU 上跑。RAGFlow★94,093Agent 原生的 RAG 引擎：把一堆文档喂成知识库，本地或自托管，带引用溯源。Khoj★38,118可自托管的「第二大脑」：把网页、文档、笔记汇成一个能问、能自动做事的个人 AI。AnythingLLM★68,225本地优先的 Agent 全家桶：聊天、知识库、Agent 一个应用打包，装完就能用。Tabby★33,936自托管的私有代码补全：像 Copilot 一样补代码，但模型和数据都跑在你自己机器上。Cline★71,569VS Code 里的自主编码 Agent：给它一个任务，它自己读改文件、跑命令、一步步做完。aider★50,095终端里的 AI 结对编程：命令行 + git 集成，给个任务它改文件、自动提交，可接本地模型。LightRAG★40,674轻量知识图谱 RAG 框架：把文档建成实体-关系图，双级检索答跨文档问题，比纯向量 RAG 更准、LLM 开销更低。Headroom★79,490给 AI Agent 装的「上下文压缩层」：工具输出/日志/RAG 片段/对话历史进 LLM 前先压一遍，答案不变、输入 token 少 21–57%。nanobot★50,045超轻量个人 Agent 框架（HKUDS 出品）：浏览器/终端/Telegram/微信/Slack 全渠道接入，能读写文件、跑命令、定时任务、长期记忆，模型随便换。graphify★146,756Claude Code 的 /graphify 技能：把任意文件夹（代码+PDF+截图+白板照片）建成可查询的知识图谱，项目自述查询省 71.5 倍 token。Local Deep Research (LDR)★9,567全本地深度研究助手：给一个问题，它自己搜网页/论文/你的文档，多引擎交叉检索后写带引用的报告，可完全本地跑。Mem0★68,885给 AI Agent 装长期记忆的一层：记住用户偏好、跨会话持续学习，可自托管也可库内嵌，Python/TS 都有 SDK。Crawl4AI★87,283LLM 友好的开源爬虫：把网页变成干净 Markdown / 结构化 JSON，Playwright 驱动，自托管免费，RAG 和 Agent 抓数据的常用入口。LangChain★149,421Agent 工程平台（原 LLM 应用框架）：模型/工具/向量库的标准接口 + 海量集成，Python/JS 双语言，生态里还有 LangGraph 编排和 Deep Agents。Milvus★46,649高性能开源向量数据库：十亿级向量的相似检索，GPU 加速可选，有 pip 即用的轻量版（Milvus Lite）和分布式集群版，RAG 的生产级存储层。Dyad★22,277本地开源的 AI 应用构建器：v0 / Lovable / Bolt 的本地版——说一句话它给你建一个 Web 应用，跑在你自己机器上，代码归你。AgenticSeek★27,657100% 本地的 Manus 替代：会自己上网浏览、写代码跑代码、拆任务执行的全能 Agent，专为本地推理模型设计，数据不出机器。Replica★110UI 复刻 + 自动打分：丢个网站/截图/录屏给 Agent，它克隆出代码，再从布局/样式/像素/动效四维打分，不达标就改到过。