4
向量与嵌入
- 词元 ID
- 独热向量
- 学习得到的嵌入
区分 ID、独热向量和学习得到的嵌入。
看看语言模型的内部，再用 Python 亲手打造
学完初级第1～3阶段，就从这里开始吧。
先看初级第1～3阶段你走到9个阶段中的哪一步了？
- 初级 使用 AI 并核实答案
- 中级 了解语言模型内部
- 高级 用 Python 构建与评估
每个阶段在哪里动手练习
| 阶段 | AI 实验室 | 亲手打造 | 代码实验室 |
|---|---|---|---|
| 4. 向量与嵌入 | 是 | 否 | 否 |
| 5. 训练、推理与检索 | 否 | 是 | 否 |
| 6. 指令、采样与验证 | 否 | 是 | 否 |
| 7. Python：运行、观察与修改 | 否 | 否 | 是 |
| 8. 数值、预测与激活函数 | 否 | 否 | 是 |
| 9. 训练并评估小模型 | 否 | 否 | 是 |