LESSON / token-01
Token 到底是什么
Token 是模型处理单位，不是固定长度的汉字或单词。
这一课，记住三个要点
01
同样文本经不同分词器可能得到不同数量的 Token。
02
输入可包括历史、系统说明、资料和工具结果。
03
输出和内部推理等计量范围以服务定义为准。
先把这些名词读懂
从概念页继续深入，并查看每个名词的使用情景和易错点。
THINK IT THROUGH
用一个练习检验理解
用同一段文字比较两个分词器，说明差异不代表内容改变。
不要把历史价格、监管简述或未经验证的例子当成今天的交易结论。本课程讲核查方法，不替代实时调查与专业审核。
SCRIPT / 可编辑初稿
直接讲给别人听
逐字稿初稿；录制前请复核并改成你的说话方式。
当前页编辑不会覆盖线上原稿；请下载保存。
继续阅读
- Hugging Face · LLM Course ↗模型架构、训练与分词的系统课程。
- NVIDIA · AI Inference ↗推理与输入、输出阶段。
公开版按原课程主题重编。原教材日期 2026-10-11；本页不搬入内部案例、私有报价或个人信息。