常见问题 / 装与跑
从 0 到跑通第一个模型，具体要走几步？
五步：确认驱动 → 装一个框架 → 下载一个 GGUF → 用命令行起服务 → 打开网页界面聊天。卡住的位置 90% 在第二、三步。
第一步，确认显卡驱动够新。Windows 看 NVIDIA 控制面板的版本，或直接命令行 nvidia-smi（能看到卡名和显存总量就说明驱动装了）。llama.cpp 的 CUDA/ROCm/Vulkan 后端各有版本要求，报错 unrecognized error code 基本都是这里。
第二步，选一个框架。怕麻烦用 LM Studio（图形界面，一键下载）；想看懂原理、想精确控制显存用 llama.cpp（下载预编译压缩包，解压即用，但命令行参数要自己写）；想被生态带着走用 Ollama（一条命令拉模型，但它会替你决定量化档和放不放显存）。
第三步，下载模型文件。新手建议从 Qwen3-4B 或 Qwen3-8B 的 Q4_K_M 开始（约 2.5G / 4.8G），选 GGUF 格式。下载前先确认硬盘剩余空间和你的网络流量预算。
第四步，起服务。llama.cpp 的图形用法是 llama-server，关键两个参数是 -c（上下文长度）和 -ngl 99（把所有层放显存）。LM Studio 里对应 Chat Context Length 和 GPU Offload 滑块。
第五步，打开 http://localhost:8080（llama.cpp 自带网页界面）或者用任意聊天客户端接上 API 地址。到这里就算跑通了。
跑不通的常见原因集中在本站故障排查的『起不来』和『装不下』两个分类里，报错原文可以直接搜索。
条目性质：本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们，见关于页。
相关问题
llama.cpp、Ollama、LM Studio、vLLM 我该用哪个？想控制显存和参数用 llama.cpp；想一条命令搞定用 Ollama；想要图形界面用 LM Studio；想要高并发服务很多人用 vLLM。新手第一站推荐 LM Studio。模型文件去哪下载？GGUF、safetensors、MLX 有什么区别？本地跑选 GGUF（llama.cpp/Ollama/LM Studio 通用）；训练/微调选 safetensors；Mac 选 MLX。国内网络不畅用镜像站，但一定要核对文件大小和哈希。