INFERENCE / 名词卡片
推理引擎是什么？
Inference engine
推理引擎是执行模型推理的软件系统，负责计算、内存管理与调度等工作。
它有什么用？
分析一次 AI 调用的效率、体验和成本。
输入、输出、缓存、调度与计费需要分开理解。
放到具体情景里
同一组模型权重和同一台服务器，采用不同推理引擎或调度配置后，能同时处理的请求数和等待时间可能不同。
最容易讲错：vLLM、SGLang、TensorRT-LLM 是不同软件项目，不是推理引擎这个概念的严格同义词。
SCRIPT / 可编辑初稿
直接讲给别人听
逐字稿初稿；录制前请复核并改成你的说话方式。
当前页编辑不会覆盖线上原稿；请下载保存。
常见问题
推理引擎是什么意思？
推理引擎是执行模型推理的软件系统，负责计算、内存管理与调度等工作。
理解它时最应该注意什么？
vLLM、SGLang、TensorRT-LLM 是不同软件项目，不是推理引擎这个概念的严格同义词。
可以直接拿口播稿发布吗？
这是可编辑初稿。请复核事实与措辞；使用有授权的数字人和声音，并按发布平台与适用规则完成 AI 内容标识。页面不代表已经生成或发布视频。
延伸资料
- vLLM · Documentation ↗推理服务、调度与缓存。
以上为相关领域的延伸阅读，不表示来源逐字包含本页示例或为所有结论背书。本站释义与示例为学习性编辑；动态规格、价格与政策需核对当期原文。