Ollama ollama/ollama

能干什么

把「下载模型 + 起推理服务」压成一条命令（ollama run <模型名>）的本地模型运行器：模型库（ollama.com/library）按标签管理量化档（如 qwen3:14b、qwen3:14b-fp8），自带 OpenAI 兼容 API，CPU / NVIDIA / AMD / Metal 都支持，消费级机器装本地模型最省心的路线。本站他测数据里相当一部分（含 Qwen3-14B FP8 那几条）的框架就是它。

怎么干

• 官网安装程序（Windows / macOS / Linux）
• ollama pull <模型>:<标签> 按量化档下载权重
• ollama run 交互式对话，或 ollama serve 起 OpenAI 兼容 API
• OLLAMA_ 前缀环境变量调上下文长度（OLLAMA_CONTEXT_LENGTH）等参数

本站怎么用

本站 /faq/which-framework/ 与部署路径的默认推荐后端：先按 /capacity/ 选量化档，ollama 的标签名直接对档位（-q4_K_M / -fp8 等）。用 Ollama 跑出的实测投稿时，framework_version 必须写明版本号（ollama --version）——此前 3 条 FP8 他测正卡在「未报版本号」不进对比，别重复这个坑。

显存口径

量化档标签与位宽表对应关系：-q4_K_M ≈ 4.8bpw、-q8_0 ≈ 8.5bpw、-fp8 = 8.0bpw（2026-11-07 本站位宽表已补 FP8 档）。