推理与 Token
64 个条目。支持中文、英文、缩写和别名；每个词都有独立解释页与口播初稿。
Token
Token 是模型分词器处理的基本单元，可对应文字片段或其他模态信息；与汉字数量没有固定换算关系。
每百万 Token 价格
每百万 Token 价格是模型服务的常见计价口径，须分别看输入、输出、缓存及其他费用。
缓存命中
缓存命中是请求可复用已有缓存结果或状态的情况；是否计费及折扣由服务规则决定。
批处理
批处理接口用于提交可异步完成的一组任务；交期、限额与折扣以服务合同或文档为准。
API
API 是软件系统之间约定的调用接口，并不只用于 AI，也不一定收费。
API 密钥
调用接口用的凭证，相当于账号密码。泄露或转卖会带来费用和合规风险。
云市场
云市场是云平台提供第三方软件、模型或服务的分发与采购渠道。
聚合平台
聚合平台统一接入多种模型或服务，通常提供路由、接口适配、计费等能力。
中转与转售
中转与转售在调用者与上游服务之间增加服务层；是否合法合规要看授权、条款、数据及主体要求。
自带密钥
用户用自己在模型公司的账号密钥，通过第三方平台调用。
速率限制
速率限制约束特定时间窗口内的请求量、Token 量或其他资源使用量。
首字延迟
首 Token 延迟是从约定请求起点到收到第一个输出 Token 的时间，不一定等于第一个汉字出现时间。
每秒 Token 数
一台机器或一块 GPU 每秒产出的 Token 总数。看数字要问模型、请求长度和速度。
峰谷定价
高峰时段原价、空闲时段打折，用价格把任务赶到机器空的时候。
MaaS
MaaS 把模型能力作为服务提供，计费可以按使用量、订阅或其他约定方式进行。
输入 Token
输入 Token 是模型服务处理的输入内容计量，可能包括系统说明、历史对话、工具结果等。
输出 Token
输出 Token 是模型产生内容的计量，实际计费范围和价格需看服务规则。
思考 Token
思考 Token 是部分服务计量推理过程资源的名称；可见性与收费方式由模型服务定义。
提示词缓存
提示词缓存复用重复上下文的计算或状态，以减少重复处理；命中条件和计费取决于服务实现。
缓存写入
缓存写入是建立缓存状态的过程，是否单独计费以及如何计费由服务商规定。
快速档
快速档是服务商提供优先处理或更高性能目标的服务层级，附加费用与承诺须具体核对。
弹性档
弹性档通常以更灵活的处理时延或可用性换取不同的资源价格，条件因平台而异。
阶梯计价
阶梯计价按用量、上下文长度或其他条件采用不同价格档位，不一定是用量越大越贵。
推理引擎
推理引擎是执行模型推理的软件系统，负责计算、内存管理与调度等工作。
连续批处理
把不同用户的请求随到随拼成一批一起算，是提高整机产量的核心办法。
并发
并发是同时处于处理过程中的请求或任务数量；增大并发会怎样影响速度取决于资源和调度。
交互速度
单个用户每秒收到多少个 Token，是体验指标，与整机吞吐互相牵制。
第三方推理服务商
拿开源模型自己租机器跑、按 Token 卖的公司。
消费单位
部分云市场上的结算单位，把 Token 用量折成统一单位记到云账单。
单位经济
卖出一个单位（一百万 Token、一个订阅用户）能赚还是亏。
LLMflation
LLMflation 是对大模型同等能力使用成本下降现象的讨论用语，不代表所有模型价格必然按固定速度下降。
数据驻留加价
数据驻留加价是部分服务为指定处理或存储区域收取的额外费用，不是统一行业费率。
Token 出海
Token 出海是跨境提供或销售模型调用能力的行业用语，算力位置、合同主体与数据流向需分别说明。
号池
号池是把多个账号组合管理的做法；将账号额度转供他人可能违反授权或平台条款，需具体核对。
掺水
用便宜模型冒充用户点的贵模型，或偷减输出。
一鱼两吃
媒体对中转站的说法：一边掺假骗 Token 费，一边出售用户对话数据。
支持地区名单
模型厂公布的可用国家和地区清单，名单外访问或提供访问可能被封号。
抽成
抽成是平台从约定交易基数中取得的收入比例，必须明确基数与是否包含税费及支付成本。
采样温度
调整输出概率分布尖锐程度的采样参数。
核采样
从累计概率达到阈值的一组候选中采样。
Top-k 采样
只从概率最高的若干候选中选择下一项。
束搜索
保留多个候选序列并逐步扩展的解码策略。
KV 缓存
保存注意力计算中的键和值，减少生成后续 Token 时重复计算。
预填充
推理时处理输入上下文并建立相应中间状态的阶段。
解码阶段
模型根据已有上下文逐步生成后续 Token 的阶段。
推测解码
先提出候选 Token，再由目标模型验证的推理加速方法。
PagedAttention
以类似分页方式管理键值缓存以改善显存利用的技术。
FlashAttention
通过减少内存访问开销优化精确注意力计算的一系列算法。
张量并行
把单层或单个张量运算分散到多个设备上计算。
流水线并行
把模型的不同层放在不同设备上流水处理。
专家并行
把混合专家模型的专家模块分布到多个设备。
延迟
一次操作从指定起点到指定终点所经历的时间。
吞吐量
系统在单位时间内完成的工作总量。
Token 间延迟
连续输出的相邻 Token 之间的时间间隔。
每输出 Token 耗时
在明确统计口径下，每个输出 Token 对应的平均时间。
P95 延迟
在样本中约95%的请求不超过的延迟值。
每秒请求数
单位秒内处理或到达的请求数量指标。
每分钟请求数
单位分钟内的请求数量，常用于接口限额。
每分钟 Token 数
单位分钟处理或允许处理的 Token 数量。
流式输出
把结果分批传给客户端，而非等待全部完成再返回。
vLLM
用于大模型推理和服务部署的开源软件项目。
SGLang
面向生成式模型推理与服务的开源软件系统。
TensorRT-LLM
NVIDIA 面向大语言模型推理优化的软件工具体系。
预填充解码分离
把输入处理与输出生成安排到不同资源池的服务架构。
已覆盖原站269个词条，并新增231个概念；这不是声称穷尽所有 AI 名词。基础定义与动态行情分开，价格和法规应另行查证。