人工智能的真相

这一页介绍的是语言模型的一种常见工作方式。“填空大王”只是一个比喻，不是所有人工智能都这样工作。训练时，模型根据许多例子调整内部的数字。回答时，它用这些数字和前面的文字，计算接下来可能出现的文字片段。这种片段叫作词元，也叫 token。它不总是只选可能性最高的片段，所以回答可能变化。某句话容易接出来，也不代表它一定是真的。

推理模型是怎么回答的？

1. 1 读问题
2. 2 接着写思考笔记 第一轮接着写——草稿纸
3. 3 接着写答案 第二轮接着写——连思考笔记一起看

有些人工智能会先显示“正在思考…”，然后再回答。这种人工智能叫作推理模型。推理模型并没有用什么神秘的新方法。它的回答方式和这一页讲的完全一样：看看前面的字，选下一个片段，接到后面，一直重复到结束。

不同的地方只有一个：在回答之前，它把这个方法多用一次。它先一段一段地写出解题的思考笔记：整理条件，试着计算，发现错了就重新解。然后，它把问题和自己写的思考笔记一起当作“前面的字”，再一段一段地写出答案。这就像先在草稿纸上写解题过程，再看着草稿把答案写到答卷上。

因为前面的字里已经有了解题过程，所以遇到数学、编程这类要好几步的问题时，它常常答得更准。推理模型是经过更多练习、学会写出有用思考笔记的模型。不过，思考笔记也是用“选下一个片段”的计算写出来的。所以想得再久也可能出错，而且要花更多时间和计算。重要的答案，还是要自己核对。

问问人工智能

对外一次一个片段，在里面却算得很深

“选下一个片段”说的是答案出来的样子，并不是说它在里面随便想想。每选一个片段，模型都会让前面的全部文字依次经过几十个叫作“层”的计算步骤。在这个过程中，它用数字分辨谁是谁、问的是什么、接下来该说什么。

它还会提前想好后面的事。Anthropic 的研究团队观察一个正在写押韵诗的语言模型内部，发现它会先定好这一行末尾要押韵的词，再写这一行前面的部分，好让句子走到那个词。答案虽然一次只出来一个片段，里面的计算却看得更远。就像一边望着楼梯顶端，一边一级一级往上爬。

问问人工智能

并不是所有人工智能都一段一段地接着写

• 画画的人工智能（扩散模型）：从一整张满是噪点的图开始，分很多次，把整张图一点点整理干净。
• 扩散型语言模型：文字也能这样生成。像 Gemini Diffusion、Mercury 这样的模型，会先摆出一整个满是空格的答案，再把很多片段一起填上、一起修改。
• 分类和推荐的人工智能：判断照片里的动物是不是猫，或者挑出你可能爱看的视频。它们不会接着写长长的回答，而是打分，或者从定好的答案里选一个。

不过，像 Lyen、ChatGPT、Claude 这样用文字聊天的人工智能，大多数还是用这一页讲的方法回答：一个片段一个片段地接下去。

问问人工智能

来源与延伸阅读

• NIST — 生成式人工智能的错误与风险资料（英文）
• Hugging Face — 如何选择下一个文字片段（英文）
• Anthropic — 追踪语言模型的思考（英文）
• DeepSeek-R1 论文 — 用强化学习培养推理能力（英文）