第 10 章 · 大模型与前沿

收官章把前面九章的零件拼成「大语言模型(LLM)」这台改变世界的机器:GPT 式架构(第 9 章)+ 互联网规模数据 + 万卡集群。本章讲清 LLM 的训练三段论、它真正会什么和不会什么、以及围绕它的前沿战场(对齐、幻觉、智能体)。这是全课程最新也变化最快的部分,讲义只写「到 2026 年仍然成立」的骨架。

10.1 预训练:把互联网读成统计结构

LLM 的第一课是自监督预训练:任务简单到卑微——预测下一个 token(next token prediction)。全互联网的文本(数万亿 token)自己给自己当标签(下一个词就在那里),不需要任何人工标注(第 5 章「标签瓶颈」的史诗级突破:数据量从百万级涨到万亿级)。

为了预测得准,模型被迫学会:语法(主谓一致)、事实(巴黎是法国首都)、推理(「3+3=」后面是 6)、风格(代码的缩进、诗歌的韵律)——所有这些能力都是「预测下一个词」的副产品。缩放定律(scaling law)给这场豪赌定了理论底气:模型参数、数据、算力按比例放大,损失可预测地下降(2020 年 OpenAI 的论文,直接催生了 GPT-3 的 1750 亿参数)。预训练的账单:GPT-4 级模型一次训练数千万美元电费,万张 GPU 跑数月——这就是「大」的代价,也是只有巨头能玩预训练的原因。

10.2 后训练:从「续写机器」到「助手」

预训练模型只会「续写」(你问「巴黎是哪国首都」,它可能续写「这是道地理题常见」),要变成「助手」还有两步后训练:

SFT(监督微调):用几万条高质量的「问题-回答」对微调,教会它「对话的格式」;
RLHF(人类反馈强化学习):人类对模型的多个回答排序,训练一个「奖励模型」,再用强化学习(第 5 章的范式)让模型最大化奖励。RLHF 是 ChatGPT「好用」的秘密:它教模型对齐(align)人类的偏好——诚实、有用、无害。

对齐税与对齐困境:对齐让模型可用,但「迎合人类偏好」也可能教它讨好(sycophancy,说你想听的)和回避(拒绝过多)。什么是「好的对齐」是仍在战场的开放问题(价值对齐的多解性,没有数学标准答案)。

10.3 LLM 会什么:涌现与使用

**上下文学习(in-context learning)**是 LLM 最反直觉的能力:不改一个参数,只在提示词里给几个例子(「苹果→apple,香蕉→banana,椅子→?」),它就照着做——「学习」发生在推理时的上下文里,这是第 9 章注意力机制的直接红利(例子全在窗口里,「看一眼就会」)。思维链(chain-of-thought):提示「请一步一步思考」,复杂推理的准确率暴涨——模型「写出推理过程」时,每个中间结论成为后续 token 的上下文,等效于把算力花在「草稿纸」上。

工程用法(提示工程的骨架):给例子(shot)、给步骤(cot)、给角色(role)、给格式约束(JSON)。但别神化:提示工程是「与统计黑盒协商」的艺术,稳定性依赖模型版本(提示词在模型升级后失效,是生产环境最痛的坑)。

幻觉(hallucination)是 LLM 的头号缺陷:它按「统计上最像」生成,没有「我不知道」的机制(训练数据里没有「承认无知」的梯度压力),编造文献、虚构 API 是家常便饭。工程解法不是「更好提示」而是架构绕行:RAG(检索增强生成,先从知识库/知识图谱(第 4 章)检索再生成)、工具调用(让 LLM 调计算器、查数据库,算术幻觉立除)。**「LLM 做语言接口,确定性系统做事实」**是当前最稳的生产架构。

10.4 前沿战场:四条战线

多模态:文本之外的图像(第 8 章 ViT)、语音、视频统一进 Transformer(把一切变成 token),GPT-4o、Sora(视频生成)是多模态的代表作;「世界模型」(视频生成中隐含的物理直觉)是通往具身智能的候选路径;
智能体(Agent):让 LLM 当「大脑」,配工具(搜索、代码执行、API)自主完成多步任务;可靠性(长链条每步 95% 正确,十步后剩 60%)是当前最大瓶颈,「LLM + 确定性流程骨架」仍是工程正解(软件工程课的思想);
高效化:把大模型的成本打下来——量化(参数精度降档)、蒸馏(大教小)、MoE(每次只激活部分专家);开源模型(Llama、Qwen、DeepSeek)与闭源的差距快速缩小,本地部署百亿参数模型已成为消费级硬件的现实;
推理模型(o1/R1 系):把「思维链」从提示技巧变成训练目标(强化学习奖励「推理正确」),推理时「想更久」换更准——「测试时算力」成为新的缩放维度(第 9 章的模型缩放之外的第二条曲线)。

10.5 课程收官:回到三块积木

第 1 章说 AI = 表示 + 搜索/推理 + 学习。用大模型回望:表示——token 序列 + 高维向量(第 9 章的嵌入空间里,语义有了几何:国王 − 男人 + 女人 ≈ 女王);学习——自监督 + 梯度下降(第 6、7 章)+ 注意力(第 9 章);推理/搜索——逐 token 生成是搜索,思维链是搜索,Agent 是带工具的搜索(第 2、3 章的骨架没变,只是空间从棋盘换成了 token 空间)。两代 AI 的三块积木同名不同形,但「表示决定上限、搜索决定路径、学习决定进化」的框架贯穿始终——这就是本课希望留给你的、不随模型版本过期的东西。

最后一课的忠告:这个领域每三个月翻一次天,教科书永远滞后。骨架(数学与工程直觉)+ 惯读论文/源码的习惯才是你的护城河;欢迎来到这个滚烫的行业。

常见认知误区

「LLM 在查数据库」。它没有存储检索机制,参数是压缩的统计结构;「知道」巴黎是「生成的词像」,所以会幻觉。RAG 才是「查」。
「模型大了就有意识/情感」。能力涌现 ≠ 意识涌现;「它说它难过」是预测「此处人类会写难过」的产物。哲学争论归哲学,工程上按「非道德主体」设计责任链。
「提示词万能」。提示工程有天花板(模型能力边界);该上 RAG、微调、工具调用的场景别硬磨提示词。
「AGI 就在明年」/「永远不可能」。两个极端都是信仰不是论证;从缩放定律的近期趋势与「具身、长程规划」的真实短板出发,保持可证伪的判断。

练习

动手:用 API(或本地开源模型)做「上下文学习」实验:零样本 vs 3 个例子 vs 10 个例子,对一个分类任务(如情感判断)对比准确率,亲手验证 in-context learning 的曲线。
动手:幻觉测试:问大模型 5 个「冷门但可查证」的事实(如某篇论文的具体页码),核对其回答;再给它配 RAG(上传文档再问),对比可靠性,写一段「什么时候必须 RAG」的工程结论。
动手:思维链实验:同一组数学应用题,分别在提示里加「请一步一步思考」与不加,统计准确率差;再用「出错了再给一次机会」(self-consistency:采样多次取众数)对比。
综合思考:用本课 10 章的内容,给「LLM 能否构成 AGI 的基础」写一篇 300 字的立场文:至少引用三章的框架(如第 5 章泛化、第 9 章注意力、第 2 章搜索),立场可任选,但每个论点必须挂上课程概念。