1級

面接の予想質問

以下の20問は、面接で審査官が尋ねるかもしれない質問の例です。正解の単語一つを当てようとせず、声に出して説明してみてください。開くと説明の例と追加の質問が見られます。公式の試験問題ではありません。

全体の流れ・開発環境・データ

1. 1

   審査官 XSLM とは何か、データの準備から XChat での対話まで、作る順番の全体を説明してください。

   説明の例を見る

   説明の例 XSLM（Extra Small Language Model）は、AI の開発を学ぶために SONUB で一から作る、とても小さな GPT です。順番は、開発環境の確認 → フォルダー・settings.json・データ（prepare.py）→ BPE トークナイザー（tokenizer.py）→ モデル（engine.py・model.py）→ 学習とチェックポイント（train.py）→ テキスト生成（generate.py）→ HTTP の Runner（runner.py）→ 対話画面 XChat（xchat.py）→ Hugging Face での公開（export.py）です。自分が学習させた重みを保存し、もう一度読み込んで XChat で使えたら完成です。

   追加の質問 答えがおかしくても XSLM が完成したと言えるのはなぜですか？

2. 2

   審査官 XSLM を作るのに pip のインストール・GPU・API キー・事前学習済みの重みが要らない理由を説明してください。

   説明の例を見る

   説明の例 /ai/build のターミナルは、ブラウザーの中で v86 によって動く 32bit の Alpine Linux で、Python 3 がすでに入っています。ソースは Python の標準ライブラリだけを使い、torch を読み込まないので、pip でインストールするものはありません。重みは一から自分で学習させ、外部の AI API を呼ばないので、API キーも要りません。計算は、ブラウザーがまねている Linux の CPU で行います。

   追加の質問 同じソースを自分のコンピューターで動かすには、何があればよいですか？

3. 3

   審査官 XSLM プロジェクトのフォルダー構成と、settings.json に入れる値を説明してください。

   説明の例を見る

   説明の例 作業はすべて ~/xslm で行います。data には元のテキスト（raw.txt）・学習データ・検証データ・トークナイザーが、checkpoints には学習した重み（model.json）が入り、Python のソースはプロジェクトフォルダーの直下に置きます。settings.json には width（トークンのベクトルの大きさ）・context（モデルが一度に見るトークンの数）・merges（BPE の結合回数）・steps（学習の繰り返し回数）・learning_rate（一度に変える量）・seed・port などの値を書きます。

   追加の質問 学習を続けている途中で settings.json を変えると、どうなりますか？

4. 4

   審査官 学習データ（raw.txt）の形式と、prepare.py がそれをどう扱うかを説明してください。

   説明の例を見る

   説明の例 raw.txt には、1行に1組の質問と答えを "Q: … | A: …" の形で書きます。prepare.py はそれを UTF-8 で読み、空行と重複した行を取り除いて、異なる行が5つ以上あり、すべて正しい形になっているかを確かめます。そのあと5行に1行を検証用に取り分け、data/train.txt と data/val.txt に保存します（初期データでは学習用が 12、検証用が 3 になります）。

   追加の質問 自分の質問と答えを1組加えたら、どのファイルから作り直しますか？

5. 5

   審査官 データを学習用と検証用に分ける理由と、トークンに変える前に質問と答えの組ごとに分ける理由を説明してください。

   説明の例を見る

   説明の例 検証データはモデルが学習に使わないテキストなので、モデルが丸暗記しているだけでなく、新しいテキストも扱えるかがわかります。テキストをトークンに変えたあとで適当な場所で切ると、同じ例が両方に入ることがあるので、先に質問と答えの組ごとに分けます。そうすることで検証の損失が正直な値になります。

   追加の質問 検証データを学習にも使うと、検証の損失は何を教えてくれなくなりますか？

トークナイザーとモデル

6. 6

   審査官 トークナイザーがなぜ必要か、XSLM の文字ベースの BPE がどうやって語彙を学ぶかを説明してください。

   説明の例を見る

   説明の例 モデルは文字ではなく数だけを計算するので、トークナイザーがテキストの断片ごとに番号をつけます。文字ベースの BPE は1文字ずつから始め、隣り合う2つの断片のうち最もよく出る組を新しい断片にまとめることを、settings.json の merges の回数だけ繰り返します。まとめた順番が規則になり、data/tokenizer.json に保存されます。

   追加の質問 merges を増やすと、同じテキストのトークン数と語彙の大きさはどう変わりますか？

7. 7

   審査官 encode と decode とは何か、roundtrip: OK が何を確かめるのか、一度も見たことのない文字はどうなるのかを説明してください。

   説明の例を見る

   説明の例 encode はテキストを1文字ずつ数に変え、学んだ結合の規則を同じ順番で当てはめて数のリストにします。decode は数を断片に戻してつなげます。roundtrip: OK は、学習テキスト全体を数に変えて戻すと、元とまったく同じになったという意味です。新しい文字は学習されず、0 番の断片 � になります。

   追加の質問 トークナイザーを学習し直したら、すでに学習したモデルの重みを使い続けられないのはなぜですか？

8. 8

   審査官 埋め込み（embedding）と位置ベクトルとは何か、なぜ足し合わせるのかを説明してください。

   説明の例を見る

   説明の例 埋め込みは、トークンの番号から数のベクトル（長さ width）を引く表です。同じトークンでも自分がどの位置にあるかを知る必要があるので、位置ごとに別々に学習する位置ベクトルを足します。どちらの表も最初はランダムな値で、学習のあいだに変わっていきます。

   追加の質問 位置ベクトルの表の行数が context と同じなのはなぜですか？

9. 9

   審査官 アテンションの Query・Key・Value と、因果マスク（causal mask）を説明してください。

   説明の例を見る

   説明の例 Query は今の位置が探しているもの、Key はそれより前の各位置の特徴、Value は受け取る情報です。Query と Key から関連の点数を出し、softmax で点数を確率に変え、その割合で Value を混ぜます。因果マスクは各位置が自分とそれより前の位置だけを見られるようにするので、次のトークンを予測するときに答えをのぞき見できません。

   追加の質問 あとからトークンが加わっても、前の位置の点数が変わってはいけないのはなぜですか？

   AIに聞いてみる
10. 10

    審査官 engine.py の Value と backward が何をするのか、そしてアテンションのあとの層（MLP・残差接続・出力層）を説明してください。

    説明の例を見る

    説明の例 Value は1つの数と、それが損失に与える影響（grad）と、演算ごとの微分の記録を持ちます。backward は計算グラフを逆向きにたどって勾配を足し合わせるので、何度も使われた重みの影響も合計されます。MLP はベクトルを width の2倍に広げてからまた狭め、残差接続は層の入力をその出力に足して情報がなくならないようにし、出力層（head）は語彙のすべての単語について次のトークンの点数を出します。

    追加の質問 モデルのパラメーター数は何で決まり、どう数えますか？

    AIに聞いてみる

学習とテキスト生成

11. 11

    審査官 XSLM が何をするように学習するのかと、交差エントロピー損失を説明してください。

    説明の例を見る

    説明の例 目標は次のトークンを予測することです。トークンが [a, b, c] なら、入力 [a, b] に対する答えは [b, c] です。交差エントロピー損失は正しいトークンに与えた確率の対数にマイナスをつけたもので、正しいトークンの確率が高いほど小さくなります。損失が小さくても、モデルが本当のことを言うとは限りません。

    追加の質問 すべてのトークンに同じ確率を与えるモデルでは、損失と語彙の大きさはどんな関係になりますか？

12. 12

    審査官 train.py の学習1ステップで何が起きるかを、順番に説明してください。

    説明の例を見る

    説明の例 学習データから context+1 個のトークンの区間をランダムに選び、すべての重みの grad を 0 にして、損失を計算し、backward で勾配を求めます。勾配全体の大きさが 1 を超えたら 1 に縮め（クリッピング）、各重みから learning_rate × 勾配 を引きます（SGD）。そのあとチェックポイントを保存し、step と loss を表示します。

    追加の質問 grad を 0 にしないと、どうなりますか？

13. 13

    審査官 チェックポイントに何が保存され、学習を再開するときに何が確かめられるかを説明してください。

    説明の例を見る

    説明の例 checkpoints/model.json には、設定・トークナイザー・データのハッシュ（SHA-256）・重み・ステップ・乱数の状態が保存されます。まず一時ファイルに書いてから os.replace で入れ替えるので、保存が途中で止まっても前のチェックポイントは残ります。次に実行するとき、設定・トークナイザー・データが変わっていないかを確かめ、変わっていればわざと拒否し、同じなら保存したステップから続けます。

    追加の質問 データを変えて古いチェックポイントから学習を続けるのが危ないのはなぜですか？

14. 14

    審査官 学習がうまく進んでいるかをどう確かめるか、学習の損失と検証の損失の読み方を説明してください。

    説明の例を見る

    説明の例 train.py は学習の前後に検証の損失を、ステップごとに step と loss を表示します。ステップごとに違う区間を選ぶので、loss は上がったり下がったりします。1つの数で判断せず、流れと、学習前後の検証の損失を比べます。学習の損失だけが下がって検証の損失が上がるなら、過学習を疑います。

    追加の質問 learning_rate が大きすぎると、損失はどう動きますか？

15. 15

    審査官 generate.py がどうやってテキストを書くのか、temperature・top_k・seed が何をするのかを説明してください。

    説明の例を見る

    説明の例 チェックポイントを読んでモデルを組み立て直し、最後の context 個のトークンを入れて次のトークンの点数を求め、1つ選んで後ろにつける、ということを繰り返します。temperature 0 は最も高い点数を選び、temperature が大きいほど確率が均等に広がります。top_k は上位 k 個の候補だけを残し、0 ならすべて残します。同じチェックポイント・質問・seed・設定なら、同じテキストになります。

    追加の質問 ランダムさを増やせば、学習が足りないモデルの答えはよくなりますか？

Runner・XChat・公開

16. 16

    審査官 Runner（runner.py）とは何か、どんな API を開くのか、どう確かめるのかを説明してください。

    説明の例を見る

    説明の例 Runner は、チェックポイントを一度読み込み、HTTP のリクエストを受けて generate を呼ぶ授業用のサーバーです。127.0.0.1（ループバック）の settings.json の port で、GET /health は {"status": "ok"} を返し、POST /generate は JSON の prompt から作ったテキストを返します。バックグラウンドで起動し、curl で /health と /generate を呼び、空の JSON のような間違ったリクエストにはサーバーが落ちずに 400 を返すことを確かめます。

    追加の質問 学習し直したあと、Runner を再起動しなければならないのはなぜですか？

17. 17

    審査官 XChat（xchat.py）が何をするのかと、XChat から Runner、そして重みへの流れを説明してください。

    説明の例を見る

    説明の例 XChat は対話画面にすぎず、自分でモデルを読み込むことはありません。質問を読み取り、学習の形式（Q: … A:）で包んで、Runner の /generate に JSON の POST で送り、返ってきたテキストを表示します。そのテキストは Runner が保存された重みで書いたものです。Runner が止まっていれば、XChat は偽の答えではなく接続エラーを表示します。

    追加の質問 XChat が質問を送る前に "Q:" と "A:" をつけるのはなぜですか？

18. 18

    審査官 完成した XSLM を Hugging Face でどう公開するか、どのファイルをアップロードするかを説明してください。

    説明の例を見る

    説明の例 export.py は重み（model.safetensors）・設定（config.json）・トークナイザー（tokenizer.json）・実行用のソースを hub フォルダーに集め、読み戻して何も変わっていないことを確かめます。モデルカード（README.md）を書き、Hugging Face に Public のモデルリポジトリを作り、Write トークンで git lfs install → git push を実行します。別のフォルダーで git clone し、python3 export.py --restore . と python3 generate.py を実行して同じ答えが出れば公開の完了です。

    追加の質問 バイナリファイルのせいで git push が拒否されたら、何を飛ばしたのですか？

19. 19

    審査官 safetensors 形式とは何か、モデルカードに何を書くかを説明してください。

    説明の例を見る

    説明の例 safetensors は、先頭に JSON のヘッダー（名前・形・位置）があり、そのあとに数を 4-byte の float32 の値として順に並べて書いた重みのファイルです。実行できるコードを含まないので、安全に読めます。モデルカードには、モデルが何か、ファイルの一覧、実行方法、学習データ、ライセンス、限界（学習用なので答えはほとんどランダム）を書きます。

    追加の質問 すべてアップロードしたら、Access Token はどうしますか？

20. 20

    審査官 面接で XSLM を自分で完成させるとき、本当に自分が学習させたモデルが答えていることをどう示すかを説明してください。

    説明の例を見る

    説明の例 prepare.py → tokenizer.py（roundtrip: OK）→ engine.py の微分チェックと model.py の形のチェック → train.py（パラメーター・step・loss・検証・checkpoints/model.json）→ generate.py → runner.py（/health・/generate）→ xchat.py の順に実行し、それぞれの出力を見せます。最後に XChat で質問して答えが返ってくるのを見せ、Runner を止めると接続エラーになり、起動するとまた対話できることを見せます。こうすれば、答えが決まった文ではなく自分のチェックポイントから来ていることがはっきりします。

    追加の質問 答えがおかしく出たら、まず何を確かめますか？