llamafile mozilla-ai/llamafile

能干什么

把 llama.cpp 与 Cosmopolitan Libc 融合成单文件可执行程序：一个 .llamafile 文件内嵌模型权重 + 推理引擎，下载后直接运行（CPU / CUDA / Metal / Vulkan，跨 macOS、Linux，Windows 走 WSL 或项目提供的二进制）。解决「环境装不上 / 不想装环境，但想让模型跑起来」的问题。官方还提供一批预构建 llamafile（各档量化模型，随附模型各自的许可说明）。

怎么干

• 从官方 / HuggingFace 仓库下载预构建 .llamafile
• macOS / Linux 直接执行（首次先 chmod +x）
• Windows 用 WSL 或项目提供的原生二进制
• 自建：按其文档把模型打进单文件分发

本站怎么用

对应「下载」环节的最省事选项：读者不想装环境时，单文件路线比编译 llama.cpp 低门槛。注意预构建文件里模型的许可各不相同（以官方模型表的许可列为准），分发时别混。

显存口径

显存口径与 llama.cpp 一致（同一套 GGUF 权重与运行时）。