KoboldCpp LostRuins/koboldcpp

能干什么

把「跑一个 GGUF 模型」压成一件事：下载一个单文件可执行（无安装、无依赖），把一个 GGUF 权重丢给它就能出文字 + 起本地 WebUI + OpenAI 兼容 API。对 CPU / 弱独显特别友好——GPU 没有或不够时它会自动把部分层放 CPU，是「机器比较老、显存很少」场景的实用选项，跑创作向（角色扮演/故事）的社区用它多。

怎么干

• 下载对应系统的单文件可执行（无安装步骤）
• 命令行指定 GGUF 文件路径启动（或拖进去）
• 开 WebUI 或 OpenAI 兼容端口直接用

本站怎么用

它是「显存不够 / 没有独显」那档读者的兜底推理路径——和 llama.cpp 同属 GGUF 生态但更傻瓜（单文件零装）、CPU 回退更省心。读者机器偏老、想先跑起来再说时指这里。显存 / 内存口径与 llama.cpp 同源：按 /capacity/ 查模型档位，放不下时它走 CPU 层offload。

显存口径

同 GGUF 口径（权重 + KV + 开销）；独显不够时自动把部分层放到 CPU（变慢但能跑），口径见 /capacity/ 的 offload 说明。单文件零依赖是它和 llama.cpp 的最大区别。