模型与训练
95 个条目。支持中文、英文、缩写和别名；每个词都有独立解释页与口播初稿。
基础模型
用海量数据训练的通用模型，可以写作、编程、识图，是各种 AI 应用的底座。
训练
训练是依据数据与目标调整模型参数等状态的过程，成本随模型、数据和训练方法变化。
推理
推理是用已有模型对新输入产生输出的过程，和在推理模型中多步求解的推理含义需区分。
参数
参数是模型中可学习的数值；参数总量、激活参数量与实际性能不是同一个指标。
开放权重
开放权重是公开可获得模型参数的做法；具体使用、修改与再分发权利仍由许可证规定。
蒸馏
蒸馏是用教师模型提供的信号训练学生模型的方法；数据与输出的使用权需单独确认。
微调
在现成模型上用少量专门数据再训练，让它更适合某个任务。
多模态
多模态指系统处理或结合两种以上信息模态的能力，例如文字与图像，并不要求支持所有模态。
推理模型
推理模型通常指针对多步问题求解做过优化的模型，质量、延迟与用量需实测。
上下文窗口
上下文窗口是模型一次处理所能容纳的 Token 范围，具体输入输出分配取决于模型与服务约束。
基准测试
用统一题目比较模型能力的测试。
幻觉
幻觉指模型生成缺乏依据、与事实或给定资料不符的内容；流畅或自信不代表正确。
生成式 AI 备案
生成式 AI 备案是中国相关服务监管中的程序性概念，适用义务需按服务对象、能力和现行规定核对。
算法备案
算法备案是相关算法服务提供者按适用规则登记信息的程序，不代表所有算法都采用同一要求。
AI 法（日本）
日本 AI 法用于促进人工智能相关研发与应用等治理安排，具体义务需查看适用条文与配套文件。
订阅
个人或团队按月付固定费用使用模型产品。
企业合约
企业按年签约买席位和承诺消费额，附带部署与安全服务。
承诺消费
客户事先承诺在一段时间内至少花掉的金额。
全额与净额
全额与净额是收入呈报方式的区别，核心在于企业是主要责任人还是代理人及适用会计要求。
模型许可证
规定模型能否商用、修改、分发及附带条件的法律文本。
MIT 许可证
MIT 许可证允许较广泛使用、修改与分发，但要求保留版权及许可声明等条件。
Apache 2.0
宽松的开源许可证，可商用可修改，附专利授权。
后训练
后训练是预训练之后为改善指令遵循、偏好对齐、推理或特定能力继续优化模型的阶段。
分词器
分词器将输入转换为模型使用的 Token 序列；不同分词器对同一内容的切分可能不同。
量化
把模型参数压成更低的精度，省显存、提速度，可能略损质量。
混合专家模型
混合专家模型通过路由选择部分专家模块参与计算；总参数、激活参数和通信成本要分别看。
模型出海
国产模型被海外用户使用，可以直卖接口，也可以开放权重由海外算力承载。
人工智能
让计算机完成识别、预测、生成或决策等任务的一类技术方法。
机器学习
通过数据学习规律，而不是逐条手工写规则的方法。
深度学习
用多层神经网络学习数据表示的机器学习方法。
神经网络
由相连的计算单元和可学习权重组成的计算模型。
大语言模型
在大量语言及相关数据上训练、用于理解和生成内容的模型。
生成式 AI
根据输入条件生成文字、图像、音频等新内容的技术。
通用人工智能
对跨领域学习、推理和任务适应能力的研究目标与讨论概念。
Transformer
以注意力机制为核心处理序列的一类神经网络架构。
注意力机制
计算输入各部分之间的相关权重，从而组合信息的机制。
自注意力
让同一序列内的元素相互参考以更新表示的机制。
跨注意力
让一组表示查询另一组表示并提取相关信息的机制。
多头注意力
并行使用多个注意力计算通道，学习不同的信息关系。
分组查询注意力
让多组查询头共享部分键和值头，减少缓存与计算开销的注意力结构。
编码器
把输入数据转换为便于后续计算的内部表示的网络部分。
解码器
根据内部表示与上下文产生输出序列的网络部分。
思维链
把求解过程组织成多个中间推理步骤的方法或表现形式。
预训练
在广泛数据上训练基础能力的阶段。
监督微调
用输入与目标输出配对的数据继续训练模型。
人类反馈强化学习
利用人类偏好信号指导模型优化的一类方法。
直接偏好优化
利用成对偏好数据直接优化模型的一种训练方法。
LoRA
通过训练少量低秩适配参数来调整大模型的方法。
QLoRA
把量化基础模型与低秩适配结合的微调方法。
参数高效微调
只训练部分参数或新增小模块以降低适配成本的方法族。
监督学习
使用带目标标签的数据学习输入到输出的映射。
无监督学习
在没有预先给定目标标签的情况下发现数据结构的方法。
自监督学习
从数据自身构造训练目标的方法。
强化学习
通过与环境交互及奖励信号学习行为策略的方法。
损失函数
把预测与训练目标的差异转换为优化指标的函数。
梯度
描述函数对各参数变化敏感程度及方向的量。
反向传播
通过链式法则计算网络参数梯度的方法。
优化器
根据梯度等信息更新模型参数的算法。
学习率
控制训练参数每次更新步幅的超参数。
批大小
一次训练更新或推理批处理所包含的样本数量。
训练轮次
完整遍历一次约定训练数据所对应的训练轮次。
检查点
保存模型权重及可能包含训练状态的文件。
过拟合
模型过度适应训练数据而难以泛化到新数据的现象。
欠拟合
模型未充分学到任务中的有效结构。
正则化
限制模型复杂度或学习过程以改善泛化的一类方法。
随机失活
训练时随机屏蔽部分网络单元输出的正则化方法。
训练集
用于学习模型参数的数据集合。
验证集
用于选择模型、参数和训练策略的数据集合。
测试集
用于评估最终方案泛化表现、应与训练决策隔离的数据。
数据泄漏
本不应可见的答案或未来信息进入模型训练或评估流程。
合成数据
用程序、仿真或模型生成、用于训练或测试的数据。
数据标注
给数据附上任务需要的类别、边界或目标结果。
模型评估
用任务数据和指标衡量模型质量、成本及风险。
精确率
被判为正例的结果中，实际为正例的比例。
召回率
实际正例中，被系统找到的比例。
F1 分数
精确率与召回率的调和平均值。
准确率
预测正确的样本占全部样本的比例。
困惑度
衡量语言模型对测试序列预测不确定性的一种指标。
数据并行
多个模型副本处理不同数据，再按算法协调结果。
分布式训练
由多个计算设备或节点协同完成模型训练。
扩散模型
通过学习去噪等过程生成数据的一类模型。
视觉语言模型
联合处理视觉信息与语言信息的模型。
世界模型
学习环境状态与变化规律、用于预测或规划的一类模型。
PyTorch
用于张量计算与深度学习的开源软件框架。
ONNX
用于表示和交换机器学习模型的开放格式与算子体系。
Hugging Face
提供模型、数据集及相关开源工具的 AI 技术生态与平台。
模型权重
模型在训练中学习到、用于计算输出的一组参数数值。
激活值
输入经过模型某一部分计算后得到的中间数值。
指令微调
使用指令及对应响应训练模型遵循任务要求的方法。
字节对编码
通过逐步合并常见符号对构建子词单元的一类分词方法。
旋转位置编码
利用旋转变换在模型表示中引入位置信息的方法。
状态空间模型
用内部状态随输入演化来描述序列的一类数学与模型方法。
Mamba
基于选择性状态空间机制的一类序列模型架构。
多头潜在注意力
通过压缩等设计减少键值缓存需求的一类注意力结构。
模型卡
描述模型用途、训练或评估信息、限制及许可等内容的文档。
已覆盖原站269个词条，并新增231个概念；这不是声称穷尽所有 AI 名词。基础定义与动态行情分开，价格和法规应另行查证。