llama-cpp-python abetlen/llama-cpp-python

能干什么

llama.cpp 的 Python 封装库：把 C++ 推理引擎包成 Python API，pip 安装即可。适合「把本地模型嵌进 Python 服务」的场景——评测脚本、数据管道、自动化任务里直接加载 GGUF 权重做批量推理，不用写 C++ 也不依赖 HTTP 服务。GPU 层数（n_gpu_layers）等关键参数都能直接控制。

怎么干

• pip install llama-cpp-python（需要本地编译环境，或用预编译 wheel）
• Llama.from_pretrained 加载 GGUF 权重，n_gpu_layers 控制 GPU 层数
• 单次生成 / 流式生成 / 批量 prompt 都走同一 API
• 评测脚本里用它复现「同卡同量化」的基准，再和官方跑分对账

本站怎么用

本站数据团队做批量抽数与口径核对时的 Python 入口；他测投稿若用这个绑定库，框架字段写「llama-cpp-python」并带版本号，与 llama.cpp 本体分开统计（口径不混）。

显存口径

显存口径与 llama.cpp 本体一致（同一套 GGUF 权重与层切分逻辑）。