第二单元的核心线索是"大模型眼里的文字和人类不一样"。从 token 这个基本单位出发,我们串起了上下文窗口的容量限制、长对话变贵的原因、next-token prediction 的生成机制、以及温度如何影响输出的稳定性和多样性。
你应该已经掌握
- Token 是模型的文字积木:模型不读句子,它把文字切成 token 再处理。输入、输出、费用最终都绕不开 token
- 上下文窗口不是长期记忆:模型只能"看到"当前窗口里的内容。窗口外的信息需要外部系统(摘要、数据库、本地存储)来管理
- Next-token prediction 是生成的核心:模型每次只预测下一个最可能的 token,这个简单动作在大规模训练后能涌现出类似理解的表现
- 温度控制探索程度,不是聪明程度:低温稳定(适合事实核对),高温发散(适合头脑风暴),都不能替代事实核查
关键直觉
模型不是一个"读完句子然后回答"的对话者,而是一个"根据当前上下文中的 token 序列,预测下一个 token"的续写器。你给的上下文越清楚,它续写得越准确;上下文越模糊,它越要猜。
单元测验
检查一下你对本单元核心概念的理解(共 3 题)
1. 大模型「眼中」的文字单位是什么?
2. 关于上下文窗口,以下哪种说法正确?
3. Temperature(温度)参数控制的是什么?
进入下一单元
理解生成机制后,第三单元将面对更实际的问题:模型能推理吗?怎样提问才能得到可检查的答案?它为什么会一本正经地胡说八道?