之前，先亲手创建、和设置文件。建立 ~/xslm，写好 settings.json 和 prepare.py，再把问答文本分成和。
源码放~/xslm，资料放，放checkpoints。始终在执行。
每行一个Q:问题与A:答案。prepare.py去重后每五条留一条验证；验证资料不参与。使用有权使用的文字和虚构示例。
~/xslm 文件夹全部做完后是这样的。
把源码、资料和结果分开放，就清楚哪些可以删。data/、checkpoints/ 中生成的文件随时能重新生成，但自己写的源码和 raw.txt 无法重新生成，请用导出保存。
文件从前往后相连，所以改了前面，后面的都要重新生成。
train.py 会亲自检查这条规则。检查点中保存的全部设置、分词器、资料指纹，只要有一个和现在不同，就用 停止。因为用改过的资料或设置继续训练旧权重，的含义或形状会错位，悄无声息地坏掉。想重新开始，就像 checkpoints/model.json checkpoints/old.json 这样把旧文件移走。
raw.txt 的一行是 "Q: 问题 | A: 答案"。prepare.py 会在 " | A:" 前，所以在训练资料里变成两行。
反复看到这种形状，学会"Q: 行的下一行以 A: 开头，A: 后面接像答案的文字，然后换行"。生成时在 Q: 问题的下一行放上 "A: "，模型就会按学到的习惯接着写答案。
格式可以自由决定。也可以用 [QUESTION]…[/QUESTION]、[ANSWER]…[/ANSWER] 这样的标记。要遵守的只有一致性。
资料中从输入到输出的形状要多，模型才能学会那件事。只罗列文字就学续写，问题→答案就学回答，文档→总结就学总结。
模型只模仿见过的东西。就像只听日语长大的人不会说中文一样。所以资料就是模型。
需要的数量比想象中多。粗略来说，问答约 3,000 对时开始模仿格式，约 1 万对时格式稳定。XSLM 的 15 行是用来确认整个过程真的能跑的极小练习资料。一开始先用这样的小型假资料跑完全程，再增加资料。
只用训练资料打分，就分不清是背下来的还是学会的。所以拿出一部分作为不用于训练的验证资料()。训练下降而上升，就是开始死记()的信号。
prepare.py 这样划分。
资料非常大时，也会把全部词元末尾的 1% 切出来作为验证用。资料小时，像 XSLM 这样按问答对划分更安全。
XSLM 每次运行 train.py 都把整个 train.txt 转成词元编号。资料只有几百个字符，瞬间完成。资料到了几十 ，每次转换就是浪费，所以只转换一次并存成文件。
资料再大，就分成多个文件依次训练。流程相同：文字 → 词元编号 → 固定长度片段 → 训练。
完成一遍课程后，把 raw.txt 换成自己的资料试试。
像中文这样字符种类多的语言，词表会变大，相同的对重复得少，合并容易提前停止。这时就增加行数、增加 merges 试试。
先建，再输入下方各文件：.py文件用，settings.json和raw.txt用。保存数据和脚本后执行prepare.py，注意标点。
mkdir -p ~/xslm/data ~/xslm/checkpoints
cd ~/xslm
nano settings.json
nano data/raw.txt
micro prepare.py
python3 prepare.py
wc -l data/train.txt data/val.txtwidth是宽度，context是上下文长度，learning_rate是更新幅度。续训保持设置一致。
{
"width": 8,
"context": 12,
"merges": 12,
"steps": 20,
"learning_rate": 0.03,
"seed": 7,
"tokens": 24,
"max_tokens": 64,
"port": 8765
}
每行一个问答对。这些简短虚构英文可以换成自己的资料。
Q: hello | A: hello friend.
Q: hi | A: hi friend.
Q: name | A: i am xslm.
Q: sun | A: the sun is warm.
Q: cat | A: a cat can nap.
Q: dog | A: a dog can run.
Q: red | A: red is a color.
Q: blue | A: blue is a color.
Q: learn | A: i learn from text.
Q: code | A: i can learn code.
Q: moon | A: the moon is in the sky.
Q: rain | A: rain is water.
Q: book | A: i can read a book.
Q: tea | A: tea is warm.
Q: bye | A: bye friend.
读取UTF-8、去重、按完整记录划分训练和验证，避免同样例子同时出现。
from pathlib import Path
lines = [line.strip() for line in Path('data/raw.txt').read_text(encoding='utf-8').splitlines() if line.strip()]
lines = list(dict.fromkeys(lines))
assert len(lines) >= 5, 'write at least five different Q/A lines'
assert all(' | A:' in line and line.startswith('Q:') for line in lines)
train = [line for i, line in enumerate(lines) if i % 5 != 0]
val = [line for i, line in enumerate(lines) if i % 5 == 0]
for name, rows in [('train', train), ('val', val)]:
text = '\n'.join(row.replace(' | A:', '\nA:') for row in rows) + '\n'
Path('data/' + name + '.txt').write_text(text, encoding='utf-8')
print(name, len(rows))
把亲手输入的源码分成小段来读。左边的数字是文件中真实的行号。可以对照里的 line 数字来读。
from pathlib import Path
lines = [line.strip() for line in Path('data/raw.txt').read_text(encoding='utf-8').splitlines() if line.strip()]
lines = list(dict.fromkeys(lines))用 Path(…).read_text(encoding='utf-8') 把整个文件读成文字，用 splitlines() 按行分开。推导式 [line.strip() for line in … if line.strip()] 去掉首尾空格并丢弃空行。dict.fromkeys(lines) 把行作为放入来去重， 保持插入顺序，所以最先出现的顺序原样保留。用 set 的话，顺序每次运行都可能不同，训练和验证的划分可能会变。
assert len(lines) >= 5, 'write at least five different Q/A lines'
assert all(' | A:' in line and line.startswith('Q:') for line in lines)两个 assert 检查资料。要有五行以上互不相同的行，才能拿出至少一行作为验证用。all(…) 只有在每一行都以 Q: 开头并包含 " | A:" 时才为真。只要有一行不对，训练格式就会混乱，所以在这里停下更好。第二个 assert 没有消息，只会显示 AssertionError。这时请检查 raw.txt 的格式。
train = [line for i, line in enumerate(lines) if i % 5 != 0]
val = [line for i, line in enumerate(lines) if i % 5 == 0]enumerate(lines) 依次给出(编号, 行)。i % 5 是编号除以 5 的余数，所以第 0、5、10…行是 val，其余是 train。15 行就是 12 行和 3 行。不随机挑选而按规则划分，所以运行多少次都得到相同的划分。
for name, rows in [('train', train), ('val', val)]:
text = '\n'.join(row.replace(' | A:', '\nA:') for row in rows) + '\n'
Path('data/' + name + '.txt').write_text(text, encoding='utf-8')
print(name, len(rows))对 train、val 分别处理：把每行的 " | A:" 换成换行 + "A:"，让问题和答案变成两行；把各对用换行连接，最后再加一个换行后保存。最后一个答案也必须以换行结束，模型才能在所有答案中学到"答案之后是换行"。 显示写了多少对。
用与检查。示例分为12条训练、3条验证记录。
时检查 ~/xslm及ls data。用四空格。~/xslm-reference仅供对照，不自动填入项目。
用来确认流程能跑足够了，用于像样的对话远远不够。训练资料只有 12 对，模型很快就想原样背下来，验证损失反而上升(第6阶段"过拟合")。行数越多，学规则而不是死记的空间越大。
分词器也是一种训练。如果只在验证句子里出现的字符组合进入合并规则，验证句子就会被转成比训练句子更短、更整齐的词元，考试就变容易了。要模拟真实服务中收到没见过的文字的情况，验证资料必须从所有训练环节中排除。
prepare.py 要有五行以上互不相同的行，才能分成训练和验证。空行和重复行不计。如果是格式 assert 报错，检查每一行是否都以 Q: 开头并包含 " | A:"。连空格都要一样。