领域 06
推理与服务
推理引擎、缓存、量化、编译、模型路由和网关把模型转化为稳定可调用的服务。
当前阶段
模型质量不再是唯一指标，延迟、吞吐、可靠性和每次有效任务的成本同样决定可用性。
核心概念
- Continuous batching
- KV Cache
- 量化
- Speculative decoding
- 模型网关
相关领域
1 篇已发布内容
它解决什么问题
推理与服务负责高效加载、执行、路由和观察一个或多个模型。
技术栈位置
它位于模型与 Agent、应用之间，是线上能力的交付层。
与相邻领域的关系
它消费算力和系统资源，并向 Agent 与应用提供稳定接口。
近期应关注什么
关注缓存命中、批处理、量化损失、路由策略、服务可靠性和单位任务成本。
近期变化
尚无相关记录。
专题长文
- 从模型到应用：理解今天的 AI 技术栈
用八个纵向领域和四个横向视角，把模型、系统、Agent 与应用放回同一张技术地图。
横向视角
安全
- 从模型到应用：理解今天的 AI 技术栈
用八个纵向领域和四个横向视角，把模型、系统、Agent 与应用放回同一张技术地图。
评测
- 从模型到应用：理解今天的 AI 技术栈
用八个纵向领域和四个横向视角，把模型、系统、Agent 与应用放回同一张技术地图。
治理与合规
- 从模型到应用：理解今天的 AI 技术栈
用八个纵向领域和四个横向视角，把模型、系统、Agent 与应用放回同一张技术地图。
可观测性与经济性
- 从模型到应用：理解今天的 AI 技术栈
用八个纵向领域和四个横向视角，把模型、系统、Agent 与应用放回同一张技术地图。