学習・推論・検索
学習目標
学習で変わるものと推論で使うものを説明します。
バイグラム模型は直前の単語の次に何が出たか数えます。skyの次にredが3回、blueが1回なら確率は3/4と1/4です。現代のニューラル言語モデルは予測損失を減らすよう多くの重みを最適化します。推論では重みと文脈から次のトークンのスコアを計算します。この実習は条件付き予測の例で、Transformer全体ではありません。
もう少し詳しく
ファインチューニングは重みを変えます。LoRAでは基礎の重みを固定して小さなアダプター行列を学習できます。RAGは重み更新を必須とせず資料を検索し文脈に渡します。BM25は単語一致に頻度の飽和と文書長の補正を使い、埋め込み検索は学習済みベクトルを比較します。どちらも証拠の見落としや誤った資料の取得はあり得ます。チャット一回が自動的な学習更新になるわけではありません。
自分の言葉で説明
新しい説明書を検索してプロンプトに追加すると、必ずファインチューニングになりますか。
説明と比べる
いいえ。検索は文脈を追加します。ファインチューニングには重みを更新する学習が必要です。
自分で記録する欄です。ここで採点はしません。
この段階を理解したものとして記録しますか？
まだ取り消せないので、本当に理解できたときだけ記録してください。
理解したものとして記録しました
自分で記録する欄です。ここで採点はしません。