训练、推理与检索
学习目标
说明训练改变什么，以及推理时模型使用什么。
二元模型统计前一个词后出现了什么。sky 后出现 red 三次、blue 一次，其概率就是 3/4 和 1/4。现代神经语言模型通过优化大量权重来降低预测损失，推理时结合这些权重与当前上下文计算下一个词元的分数。此实验展示条件预测，并非完整的 Transformer 算法。
深入一点
微调会改变模型权重；LoRA 可冻结基础权重，只训练较小的适配矩阵。RAG 检索资料并作为上下文提供，不必更新权重。BM25 使用词项匹配、词频饱和与文档长度归一化；嵌入检索比较学习得到的向量。两者都可能漏掉证据或检索到误导文本。一次聊天不会自动等于一次训练更新。
用自己的话解释
检索新手册并加入提示词，就一定是微调吗？
对照解释
不是。检索增加上下文；微调需要训练过程来更新权重。
这一栏由你自己标记，这里不打分。
要把这一阶段标记为已理解吗？
目前还不能取消，请在真正理解后再标记。
已标记为理解
这一栏由你自己标记，这里不打分。