返回课程目录
第二单元:大模型到底是怎么生成文字的
单元总结

第二单元总结

回顾 token、上下文窗口、费用账本、next-token prediction 和温度这五个核心概念如何串起模型的生成机制。

本地学习进度

已完成 0 / 32

第二单元的核心线索是"大模型眼里的文字和人类不一样"。从 token 这个基本单位出发,我们串起了上下文窗口的容量限制、长对话变贵的原因、next-token prediction 的生成机制、以及温度如何影响输出的稳定性和多样性。

你应该已经掌握

  • Token 是模型的文字积木:模型不读句子,它把文字切成 token 再处理。输入、输出、费用最终都绕不开 token
  • 上下文窗口不是长期记忆:模型只能"看到"当前窗口里的内容。窗口外的信息需要外部系统(摘要、数据库、本地存储)来管理
  • Next-token prediction 是生成的核心:模型每次只预测下一个最可能的 token,这个简单动作在大规模训练后能涌现出类似理解的表现
  • 温度控制探索程度,不是聪明程度:低温稳定(适合事实核对),高温发散(适合头脑风暴),都不能替代事实核查

关键直觉

模型不是一个"读完句子然后回答"的对话者,而是一个"根据当前上下文中的 token 序列,预测下一个 token"的续写器。你给的上下文越清楚,它续写得越准确;上下文越模糊,它越要猜。

单元测验

检查一下你对本单元核心概念的理解(共 3 题)

1. 大模型「眼中」的文字单位是什么?

2. 关于上下文窗口,以下哪种说法正确?

3. Temperature(温度)参数控制的是什么?

进入下一单元

理解生成机制后,第三单元将面对更实际的问题:模型能推理吗?怎样提问才能得到可检查的答案?它为什么会一本正经地胡说八道?