向量与嵌入
学习目标
区分 ID、独热向量和学习得到的嵌入。
ID 是标签，向量是一组数值。独热向量只有对应词表位置为 1，其余为 0，并不表达语义相似性。嵌入是学习得到的向量。相关用法是否接近，取决于数据和训练目标。
深入一点
现代 Transformer 用注意力机制组合上下文各位置的信息，因此同一词元的表示可随句子变化。相似度不保证事实正确或意义相同。“国王 − 男人 + 女人”只是某些词嵌入的示例结果，不是通用等式。检索时应在兼容的嵌入空间中比较查询与文档向量。
用自己的话解释
嵌入接近，能证明两句话表达了同一事实吗？
对照解释
不能。它们可能话题相同、观点相反，仍需阅读并核实具体内容。
这一栏由你自己标记，这里不打分。
要把这一阶段标记为已理解吗？
目前还不能取消，请在真正理解后再标记。
已标记为理解
这一栏由你自己标记，这里不打分。