现在，让我们打造属于你自己的人工智能吧。

请求经过的路——从 XChat 到权重

在 XChat 输入 hi 并按 Enter，会依次发生这些事。

• xchat.py 把问题包成训练格式。"Q: hi" 的下一行放 "A: "。
• 生成 JSON {"prompt": …, "tokens": 24}，POST 到 http://127.0.0.1:8765/generate。
• Runner 的 do_POST 读取并检查正文，然后调用 generate。
• generate 用分词器生成编号，用内存中的 GPT 逐个抽取词元，在换行处停止。
• Runner 用 {"text": …} 响应，xchat.py 把它显示在 XSLM> 后面。

这条路上任何一处断了，对话就进行不了。所以出问题时，沿着这条路逐一检查：Runner 是否在运行(curl /health)，能否生成(curl /generate)，XChat 的地址和端口是否正确。

XChat 客户端——输入循环与 HTTP 请求

xchat.py 分两部分。

• ask(question)：发送一个请求并返回回答。用 Request 构造包含地址、正文、头部的 POST 请求，用 urlopen 发送，再用 json.load 读取响应正文，取出 text。timeout=120 表示 2 分钟内没有回答就放弃。为了在慢速模拟器上能等长时间的生成，设得比较宽裕。
• 输入循环：用 while True 不断显示 You>，逐行读取。/exit 就结束，空行跳过，其余交给 ask，在 XSLM> 后输出回答。

每个问题都重新读取 settings.json。提示词格式("Q: " … "A: ")由客户端添加。如果做成由服务器添加格式，客户端就不需要知道格式。无论哪种，格式都只能在一个地方决定，才不会错位。

处理错误——不编造假回答

xchat.py 这样分类处理错误。

• EOFError、KeyboardInterrupt：按了 Ctrl+D(输入结束)或 Ctrl+C。结束循环，回到 bash。
• URLError：没能连接 Runner(Connection refused 等)。Runner 没开，或端口不对。
• HTTPError：连上了，但 Runner 用 400 这样的错误码回答。它是 URLError 的一种，所以在同一行被捕获。
• TimeoutError：在规定时间内没有回答。

无论哪种情况，都显示 "Runner: 错误内容"，然后等待下一个问题。连不上时，不用事先准备好的句子来掩盖。这样才能马上知道哪里坏了。关掉 Runner 再提问试试(应该出错才正常)，再启动它，确认对话恢复。

附上对话记录——上下文长度的限制

现在的 XChat 每个问题都是独立的。模型不知道前面说过的话。真实聊天机器人看起来记得前面的对话，是因为每次都把过去的整个对话放到提示词前面一起发送。模型本身没有记忆。

用 XSLM 试试，很快就会碰壁。下面的实验在一轮对话(Q: hi / A: hi friend.)后面接上新问题 cat。提示词有 21 个词元，但模型只看最后 12 个词元，实际看到的文字从 "iend." 开始。前面的对话被截掉了。

所以要附上对话记录，还要一起做这些事。

• 从最旧的对话开始丢弃，使其放进上下文长度内。
• 新训练一个 context 更大的模型(位置表变大，计算变慢)。
• 训练资料里也要放入多轮连续的对话，模型才能学会那种形状。

下一个挑战：在 xchat.py 中设一个 history 列表，把过去的问答附上一起发送。数一数词元数，超过 12 就丢掉前面的部分。

import json
from pathlib import Path
from tokenizer import BPE

tok = BPE(**json.loads(Path('data/tokenizer.json').read_text()))
size = json.loads(Path('settings.json').read_text())['context']
history = 'Q: hi\nA: hi friend.\nQ: cat\nA: '
ids = tok.encode(history)
print(len(ids), 'tokens; the model sees the last', size)
print(repr(tok.decode(ids[-size:])))

cd ~/xslm
mkdir -p lab
micro lab/context.py
python3 -m lab.context

21 tokens; the model sees the last 12
'iend.\nQ: cat\nA: '

真实的对话模型怎么做——预训练之后的阶段

XSLM 用 Q/A 格式的文字从零训练。ChatGPT、Claude 这样的对话模型通常要经过几个阶段。

• 预训练(pre-training)：用海量文字做下一个词元预测。和 XSLM 的 train.py 做的事相同，只是规模不同。
• 指令训练(SFT, instruction tuning)：用问题和好答案的对再训练，养成遵循指令的习惯。区分用户和助手轮次的对话格式(聊天模板)也在这时学会。
• 偏好训练(RLHF 等)：调整模型，使其偏向人们选出的更好的回答。

需要最新信息时，不重新训练，而用 RAG。用问题检索出文档，一起放进提示词，模型看着这些文档回答。在资料格式中设置像 [DOC] 这样的文档栏，事先学会参考文档来回答的形状，以后就能把检索结果放进那一栏使用。

下一个挑战——让 XSLM 变大的方法

用完成的 XSLM 可以做的实验。每次只改一项，记录损失和回答。

• 增加资料：问题用多种说法，答案用相同格式，写几十到几百行。
• 增加训练：改变学习率和训练次数，比较训练和验证损失。
• 扩大模型：把 width 改成 16，context 改成 24。测量参数数量和每一步的时间如何变化。
• 叠块：把 model.py 的注意力 + MLP 封装成函数，每个块各自建权重，让它经过两次。
• 分头：把宽度 8 分成每头 4 格的两个头，分别做注意力后再拼接。
• 加 top-p：在 generate 中做一个按累积概率截断候选的选项。
• 流式输出和对话记录：加到 Runner 和 XChat 上试试。

能做到这里，就在自己电脑上用 PyTorch 重写同样的结构。用张量计算，就能快几千倍，训练几千万个参数。Andrej Karpathy 的 nanoGPT、build-nanogpt 也是很好的下一步教材。