の前に、プロジェクトのフォルダー・・を自分で作ります。~/xslm に settings.json と prepare.py を書き、Q/A の文章を学習用と検証用に分けましょう。
~/xslmにソース、に資料、checkpointsにを置きます。常にこのフォルダーで実行します。
原文は一行にQ:質問とA:回答。prepare.pyは重複を除き5件ごとに1件を検証用に分けます。検証資料をのに混ぜず、個人情報でなく自作の例を使います。
~/xslm フォルダーは、すべて作り終えるとこうなります。
ソースと資料と結果を分けておくと、何を消してよいかがはっきりします。data/・checkpoints/ に作られたファイルはいつでも作り直せますが、自分で書いたソースと raw.txt は作り直せないので、書き出して保管してください。
ファイルは前から後ろへつながるので、前の方を変えたら後ろの方をすべて作り直します。
train.py はこの規則を自分で確かめます。チェックポイントに保存した設定全体・トークナイザー・資料の指紋が、今のものと1つでも違えば で止まります。変わった資料や設定で古い重みの学習を続けると、の意味や形がずれて、気づかないうちに壊れるからです。新しく始めるには、 checkpoints/model.json checkpoints/old.json のように古いファイルを移します。
raw.txt の1行は "Q: 質問 | A: 答え" です。prepare.py は " | A:" の前でするので、学習資料では2行になります。
はこの形を繰り返し見て、「Q: の行の次の行は A: で始まり、A: の後には答えらしい文章が来てから改行する」ことを学びます。生成するとき Q: 質問 の次の行に "A: " まで入れてあげると、モデルは学んだ習慣どおりに答えを続けて書きます。
形式は自由に決めてかまいません。[QUESTION]…[/QUESTION]、[ANSWER]…[/ANSWER] のように印をつけてもかまいません。守るべきことは一貫性ただ1つです。
入力から出力への形が資料にたくさんあってこそ、その仕事を学びます。文章を並べるだけなら続き書きを、質問→答えなら答え方を、文書→要約なら要約を学びます。
モデルは見たものだけをまねます。韓国語だけを聞いて育った人が日本語を話せないのと同じです。だから資料こそがモデルです。
量は思ったよりたくさん必要です。おおよそ質問と答え3,000組くらいで形式をまね始め、1万組くらいで形式が安定します。XSLM の15行は、全体の過程が実際に動くかを確かめるための、ごく小さな練習資料です。最初はこのように小さな偽の資料で最後まで動かしてから、資料を増やします。
学習資料だけで点数をつけると、暗記したのか学んだのかを区別できません。そこで一部を切り離し、学習に使わない検証資料()にします。学習の損失は下がるのに検証の損失が上がったら、暗記()を始めたという合図です。
prepare.py はこう分けます。
資料がとても大きいときは、全体のトークンの最後の1%を切り出して検証用に使うこともあります。資料が小さいときは、XSLM のように質問と答えの組単位で分けるほうが安全です。
XSLM は train.py を実行するたびに train.txt 全体をトークン番号に変えます。資料が数百文字なので一瞬です。資料が数十 になると毎回変えるのは無駄なので、1回だけ変えてファイルに保存しておきます。
資料がもっと大きくなったら、複数のファイルに分けて順に学習します。流れは同じです。文章 → トークン番号 → 固定長の区間 → 学習。
過程を一度終えたら、raw.txt を自分の資料に変えてみます。
日本語のように文字の種類が多い言語は、語彙が大きくなり、同じペアがあまり繰り返されないので、合併が早く止まりやすいです。そういうときは行を増やし、merges を増やしてみます。
フォルダーを作り、下の各ソースを同名ファイルに入力して保存します。.pyファイルは、settings.jsonとraw.txtはを使います。の句読点に注意してprepare.pyを実行します。
mkdir -p ~/xslm/data ~/xslm/checkpoints
cd ~/xslm
nano settings.json
nano data/raw.txt
micro prepare.py
python3 prepare.py
wc -l data/train.txt data/val.txtwidthは幅、contextは文脈長、learning_rateは更新量です。
{
"width": 8,
"context": 12,
"merges": 12,
"steps": 20,
"learning_rate": 0.03,
"seed": 7,
"tokens": 24,
"max_tokens": 64,
"port": 8765
}
一行に質問と回答を一組。短い自作の英語例です。
Q: hello | A: hello friend.
Q: hi | A: hi friend.
Q: name | A: i am xslm.
Q: sun | A: the sun is warm.
Q: cat | A: a cat can nap.
Q: dog | A: a dog can run.
Q: red | A: red is a color.
Q: blue | A: blue is a color.
Q: learn | A: i learn from text.
Q: code | A: i can learn code.
Q: moon | A: the moon is in the sky.
Q: rain | A: rain is water.
Q: book | A: i can read a book.
Q: tea | A: tea is warm.
Q: bye | A: bye friend.
UTF-8読込、重複除去、文単位分割、学習・検証の保存を行います。
from pathlib import Path
lines = [line.strip() for line in Path('data/raw.txt').read_text(encoding='utf-8').splitlines() if line.strip()]
lines = list(dict.fromkeys(lines))
assert len(lines) >= 5, 'write at least five different Q/A lines'
assert all(' | A:' in line and line.startswith('Q:') for line in lines)
train = [line for i, line in enumerate(lines) if i % 5 != 0]
val = [line for i, line in enumerate(lines) if i % 5 == 0]
for name, rows in [('train', train), ('val', val)]:
text = '\n'.join(row.replace(' | A:', '\nA:') for row in rows) + '\n'
Path('data/' + name + '.txt').write_text(text, encoding='utf-8')
print(name, len(rows))
自分で入力したソースを小さく分けて読みます。左の数字はファイルの実際の行番号です。の line の数字と照らし合わせながら読んでください。
from pathlib import Path
lines = [line.strip() for line in Path('data/raw.txt').read_text(encoding='utf-8').splitlines() if line.strip()]
lines = list(dict.fromkeys(lines))Path(…).read_text(encoding='utf-8') でファイル全体を文字として読み、splitlines() で行ごとに分けます。内包表記 [line.strip() for line in … if line.strip()] は前後の空白を消し、空行は捨てます。dict.fromkeys(lines) は行をに入れて重複をなくしますが、 のは入れた順序を守るので、最初に出てきた順序がそのまま残ります。set を使うと順序が実行ごとに変わり、学習・検証の分け方が変わることがあります。
assert len(lines) >= 5, 'write at least five different Q/A lines'
assert all(' | A:' in line and line.startswith('Q:') for line in lines)2つの assert が資料を検査します。互いに違う行が5行以上あってはじめて、検証用に1行以上を切り離せます。all(…) は、すべての行が Q: で始まり " | A:" を含むときだけ真です。1行でも違うと学習の形式が混ざるので、ここで止まるほうがよいのです。2つ目の assert にはメッセージがないので、AssertionError だけが表示されます。そのときは raw.txt の形式を見直してください。
train = [line for i, line in enumerate(lines) if i % 5 != 0]
val = [line for i, line in enumerate(lines) if i % 5 == 0]enumerate(lines) は(番号, 行)を順に渡します。i % 5 は番号を5で割った余りなので、0・5・10…番目の行が val、残りが train になります。15行なら12行と3行です。ランダムに選ばず規則で分けるので、何回実行しても同じ分け方になります。
for name, rows in [('train', train), ('val', val)]:
text = '\n'.join(row.replace(' | A:', '\nA:') for row in rows) + '\n'
Path('data/' + name + '.txt').write_text(text, encoding='utf-8')
print(name, len(rows))train・val それぞれについて、行ごとに " | A:" を 改行 + "A:" に置き換えて質問と答えを2行にし、組を改行でつないでから、最後に改行を1つ足して保存します。最後の答えも改行で終わってはじめて、モデルは「答えの次は改行」をすべての答えで学べます。 は何組書いたかを表示します。
とを確認。例は学習12件、検証3件になります。
なら ~/xslmとls dataを確認。Pythonは空白4個。~/xslm-referenceは比較用で自動入力されません。
過程が動くかを確かめるには十分ですが、使える会話にはまったく足りません。学習資料が12組しかないので、モデルはすぐにそのまま暗記しようとし、検証の損失はむしろ上がります(6段階「過学習」)。行を増やすほど、暗記より規則を学ぶ余地が大きくなります。
トークナイザーも学習です。検証の文にだけ出てくる文字の組み合わせが合併規則に入ると、検証の文が学習の文より短くきれいなトークンに変わり、試験が簡単になってしまいます。実際のサービスで初めて見る文章を受け取る状況をまねるには、検証資料をすべての学習段階から外す必要があります。
prepare.py は、互いに違う行が5行以上ないと学習用・検証用に分けられません。空行と重複行は数えません。形式の assert に引っかかったら、すべての行が Q: で始まり、" | A:" が入っているかを見てください。空白まで同じである必要があります。