推理服务

vLLM:项目速览

面向生产推理服务,提供高吞吐、内存优化和 OpenAI 兼容服务能力,适合模型服务和推理基础设施团队。

advanced可自托管
License
Apache-2.0
Language
Python
Updated
2026-05-13
inferenceservingthroughputopenai-compatible

项目速览

面向生产推理服务,提供高吞吐、内存优化和 OpenAI 兼容服务能力,适合模型服务和推理基础设施团队。

这篇站内解读还在整理中,先保留项目定位、技术标签和官方入口,后续补齐采用判断。

官方入口