LocalAI mudler/LocalAI

能干什么

一个把「跑任何模型」做成一个服务器的开源引擎：LLM、视觉、语音转写/合成、图像生成、视频，全部走同一套 OpenAI / Anthropic / ElevenLabs 兼容 API——原来连云端接口的应用，把 base_url 改到本地就能用。架构是「小核心 + 按需拉后端」：llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等 60+ 后端各自独立，模型需要哪个才拉哪个，不装用不上的。硬件覆盖 NVIDIA（CUDA）、AMD（ROCm）、Intel（oneAPI）、Apple Silicon（Metal）、Vulkan、纯 CPU。还带多用户（API key、配额、角色）、可保存 Agent 的会话（工具调用 / MCP / 文件 / Telegram 连接器）、从签名目录装 Add-ons（Studio、Talk、Voice、Face 等）。

怎么干

• Docker 一条命令起服务器（NVIDIA 示例：docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13；CPU 去掉 --gpus 换 latest 镜像）
• local-ai run llama-3.2-1b-instruct:q4_k_m 拉一个模型跑起来（支持官方模型库、HuggingFace、Ollama 仓库、YAML 配置多种来源）
• 现有应用把 OpenAI 兼容端点指到本地 8080 端口即可；或用自带 WebUI / 终端 Agent 直接玩

本站怎么用

它是本站读者的「全模态本地中枢」：Ollama / llama.cpp 是「本地跑文本模型」的轻路径，LocalAI 把图像、语音、视觉也收进同一个服务器，还自带 OpenAI/Anthropic API 直替换和多用户。读者想「一个服务器跑遍本地模型全家、还让现有应用少改代码」时，它是比 Ollama 更重的选项——后端按需拉，磁盘占用会随用的模型膨胀。文本模型的显存按 /capacity/ 查所选档位。

显存口径

引擎本身不占显存，占显存的是它跑的模型：文本模型按 /capacity/ 档位算（走 llama.cpp 后端时与单独用 llama.cpp 同口径）；图像/视频生成后端显存需求另算，明显高于文本模型。支持纯 CPU，弱机可跑但慢。