装系统、跑引擎、把 35B 跑起来：从零到第一个字
本站编辑整理（站长直投稿） · 2026-11-10
硬件选好了，下面是把这台机器真正变成管家：装系统 → 装推理引擎 → 跑 35B → 起 API。硬件、引擎、模型都定了，下面拼成能日常使用的服务。
第一步：系统怎么选
推荐 Ubuntu 24.04 LTS。P100、P40、V100、魔改 2080 Ti / 3080 这些卡，Linux 下驱动、CUDA、vLLM、llama.cpp 都更顺；只想在 Windows 上先玩起来，用 llama.cpp 或 Ollama 也行，但多卡、NVLink、vLLM 这类高级玩法还是 Linux 更合适。装完先做三件事：装 NVIDIA 驱动和 CUDA；确认 nvidia-smi 能识别所有显卡；如果是 Tesla 卡，BIOS 打开 Above 4G Decoding，被动散热加装风扇。
第二步：推理引擎怎么选
不要贪多，先分两档：
| 场景 | 推荐引擎 | 为什么 |
|---|---|---|
| 单卡、低显存、想先跑起来 | llama.cpp + GGUF | 兼容老卡、支持 offload、显存不够也能跑 |
| 多卡、大显存、要做服务 | vLLM | 支持张量并行、并发更好、适合接智能家居 |
1000 元档 P100、2000 元档 P40 优先 llama.cpp；5000 元档单卡可 llama.cpp、双卡建议 vLLM；1 万元档优先 vLLM 配张量并行。
第三步：35B 怎么跑
模型建议用 35B MoE 的 GGUF 版本，量化选 Q4_K_M（35B MoE 每次只激活一部分专家层，比同体量稠密模型友好）。显存够大（2080 Ti 22G、3080 20G、V100 32G）就尽量把层放 GPU；显存只有 16G 或 24G 就用 offload：GPU 跑注意力层和部分权重，CPU 和内存跑专家层。
# llama.cpp 关键参数 # -m 模型路径 # -ngl 放到 GPU 的层数（显存够就写大，99 表示尽量全放） # -t CPU 线程数（别盲目拉满，8~16 之间调） # -c 上下文长度（先开 4096 或 8192） # --cache-type-k / --cache-type-v q4_0：压缩 KV cache，省显存 ./llama-server \ -m models/qwen3.6-35b-a3b-q4.gguf \ -ngl 99 \ -c 8192 \ -t 12 \ --cache-type-k q4_0 \ --cache-type-v q4_0 \ --port 8080 \ --host 0.0.0.0 \ --jinja
编辑注（Qwen3.6-35B-A3B 实测部署口径，来自 unsloth 官方 GGUF 仓库与第三方 24G 部署记录，单源 C 级）：① Unsloth 推荐的 Q4 档是 UD-Q4_K_XL（约 20GB），视觉要另下 mmproj-BF16.gguf（约 858MB），启动加 --mmproj；② llama.cpp 要用 2026-01-25 之后的构建，老构建对这个混合注意力架构的 KV cache 有 bug（每轮全量重算）；③ 必须 --jinja 启用官方聊天模板；④ 第三方在 L4 24G 上 Q4_K_XL + mmproj + KV q4_0 开到 98K 上下文（单并发），去掉 mmproj 可到 256K 原生满上下文；⑤ 带 MTP 头的版本可开 --spec-type draft-mtp 投机解码，第三方报告 130–150 t/s（单源 C 级，未本站复测）。站内 Ornith-1.5-35B-A3B 走同一条路，官方 GGUF 仓库已带 mmproj（BF16 0.9G）。
第四步：把它变成服务
跑通命令行对话只是第一步。真正要用的话，起一个 OpenAI 兼容 API（llama-server 就是），后面接 Home Assistant、语音前端、摄像头分析都方便。vLLM 用户按显卡数量开张量并行，比如双卡 2080 Ti 开 TP=2——注意 NVLink 不是自动合并显存，必须框架支持张量并行才生效。
编辑注（重要）：本篇命令里 -c 8192 是「先把文本跑通」的保守起点。下一篇接 Hermes Agent 时，它的官方要求是上下文 ≥64K（小上下文直接拒启动），届时把 -c 调到 65536 以上——24G 卡 + KV q4_0 扛得住（第三方记录 98K 都开得到），16G 卡按档位降上下文。
编辑注（2026-11-11 补核）：权重体积按 unsloth 官方 GGUF 仓库 blob 级核到真实文件——UD-Q4_K_XL 22.4GB（20.8G）、UD-IQ4_XS 17.7GB（16.5G）、Q8_0 36.9GB（34.4G）、2bit GSQ 混合档 11.4G，mmproj-BF16 实际 903MB（0.84G，此前 858MB 是旧口径）。16G 卡（如 5060 Ti）跑 GSQ-2bit 最省（12.6G 总需），站长同卡口报 GSQ 约 40 tok/s、Q4 约 30 tok/s（claimed 档，见模型页）；12G 卡跑 GSQ 总占用约 14G，需 CPU/内存 offload。详见 /model/qwen3-6-35b-a3b/。