vLLM vllm-project/vllm

能干什么

高吞吐 LLM 推理与 serving 引擎：PagedAttention 把 KV cache 按页管理，显存利用率与并发吞吐显著优于朴素实现（这是它区别于 llama.cpp 的核心路线）。面向「一个服务同时接很多请求」的场景——多用户本地服务、网关、批量任务。对单流交互场景它的优势不明显，个人对话场景 llama.cpp / Ollama 更顺。FP8 / INT8 量化路线在 Hopper / Ada 卡上常见。

怎么干

• pip install vllm（要求 NVIDIA 卡 + 较新 CUDA 驱动；也支持 TPU / AMD）
• vllm serve <模型名> 起 OpenAI 兼容服务，--gpu-memory-utilization 调显存水位
• 批量任务用 Python 接口的 LLM 类
• 量化路线：--quantization 选 fp8 / awq / gptq 等档

本站怎么用

24G / 32G 及以上档位、以及「多用户 / 高并发」查询的对应框架。口径提醒：vLLM 吞吐是**并发口径**，与单流 tok/s 不是同一个数——投稿实测时 stream 字段要写 clear（single 还是并发 + batch 数），本站对比只收口径完整的条目（这正是它此前 3090 双卡那条只展示不进对比的原因）。

显存口径

显存按 --gpu-memory-utilization 切给 KV，与本站「水位」概念同向：给得越满上下文越大，但留给系统/其他进程越少。