常见问题 / 装与跑
模型文件去哪下载?GGUF、safetensors、MLX 有什么区别?
本地跑选 GGUF(llama.cpp/Ollama/LM Studio 通用);训练/微调选 safetensors;Mac 选 MLX。国内网络不畅用镜像站,但一定要核对文件大小和哈希。
格式和框架是绑定的:GGUF 是为 CPU/GPU 混合推理设计的单文件格式,量化档就写在文件名里(比如 xxx-Q4_K_M.gguf),是本地跑唯一需要的格式。safetensors 是分片的原始精度权重,动辄上百 GB,要自己转量化。MLX 是 Apple 的格式。
常见下载位置:Hugging Face(官方模型仓库 + 大量第三方量化版)、ModelScope 魔搭(国内访问快)、以及量化作者的个人仓库。同一个模型会有很多人做的不同量化版本,选哪个不是玄学:优先选量化说明里附了困惑度(perplexity)对比的那份。
务必核对两件事:① 文件大小是否和页面标的一致(下载被截断是『加载时报错』和『输出乱码』的常见原因)② 有条件就校验 SHA256。别从二手网盘链接拿权重,改名和篡改都发现不了。
国内镜像能提速,但要注意镜像仓库的版本可能滞后,尤其是刚更新的模型;本站数据里的架构常数全部取自 config.json,如果你下的镜像里 config 和官方不一致,模型的 KV 常数就得重新核。
条目性质:本站依据自身数据模型与公开架构常数撰写。 有错请直接告诉我们,见关于页。