リクエストが通る道

1. 1

   キーが押される

   キーボードの中の小さなコンピューターがどのキーが動いたかを見つけ、それを数字にしてケーブルへ流します。

2. 2

   オペレーティングシステムが受け取る

   カーネルのドライバーがその数字を入力イベントに変え、今いちばん手前にある窓へ向けて列に並べます。

3. 3

   プログラムが列から取り出す

   どのプログラムも、イベントを一つずつ取り出して処理する繰り返しを回しています。入力欄に文字が現れるのがこの段階です。

4. 4

   マイクは別の道を行く

   音声認識で文字にしてからテキストモデルへ渡す方法と、音声を直接受けるモデルがあります。マイク権限とサービスで処理場所が変わります。

1. 5

   システムプロンプト

   プログラムを作った人があらかじめ書いておいた決まりが先頭に付きます — おまえは何で、どう答えるべきか。

2. 6

   ここまでの会話

   アプリが文脈の上限内でメッセージ・指示・許可された添付を選びます。過去を切り詰め、要約、検索する場合があります。省いた内容の自動記憶はなく、要約にも情報損失があります。

3. 7

   自分が添えたもの

   画像はAPIに応じてバイト・ファイルID・URL・base64で送ります。PDFは文字・ページ画像・OCRなどで扱います。形式・抽出品質・容量制限はサービスごとに異なります。

4. 8

   自分の資料を探す（RAG）

   RAGは資料を検索し生成の文脈に入れます。BM25などの語句検索、埋め込み、両方を使えます。通常は重みを再学習せず、資料の出典と関連性の確認が必要です。

5. 9

   道具の一覧

   ツールはアプリAPIやMCPで接続できます。MCPはローカル・遠隔サーバーのツール・リソース・プロンプトを提供します。利用可否はモデルだけでなく設定と権限で決まります。

6. 10

   スキルとコマンド

   スキルは指示と、必要ならスクリプトや資料をまとめます。対応エージェントが必要な部分を読みます。Agent Skillsは形式の仕様で、安全や正確さの保証ではありません。

7. 11

   上限に合わせる

   アプリが文脈の上限内でメッセージ・指示・許可された添付を選びます。過去を切り詰め、要約、検索する場合があります。省いた内容の自動記憶はなく、要約にも情報損失があります。

1. 12

   住所を調べる

   サーバーの名前を数字の住所に変えます（DNS）。

2. 13

   道を開き、錠をかける

   HTTPSは接続を暗号化します。HTTP/1.1・2は通常TCPとTLS、HTTP/3はQUICです。リアルタイムではWebSocketやWebRTCも使います。図は接続の役割を示すものです。

3. 14

   誰なのかを示す

   リクエストの頭に鍵（API キー）や札（トークン）を付けます。誰の分として計算するかがここで決まります。

4. 15

   リクエストを送る

   HTTPSは接続を暗号化します。HTTP/1.1・2は通常TCPとTLS、HTTP/3はQUICです。リアルタイムではWebSocketやWebRTCも使います。図は接続の役割を示すものです。

1. 16

   門番

   鍵が合っているか、呼びすぎていないかを見て、空いている計算機に渡します。

2. 17

   待ちの列

   門前では鍵を確かめ、しばらく列に並びます。そのあと計算するとき、ランタイムはすでに載せてある一組の数字に対して、待っていた複数の質問をまとめて計算します。

3. 18

   入ってきたものを調べる

   計算を始める前に、決まりに反するリクエストでないかを先に見ます。

1. 数字のファイルが眠っている

   学習を終えたモデルは、保存装置に置かれた大きなファイルです。それだけでは何も計算しません。このサイトの音声モデルもファイル四つ、合わせて約 398MB です。

2. ランタイムが一度だけ載せる

   ランタイムがモデルを読み推論します。稼働中は重みを再利用することが多い一方、起動・退避・再起動で再読込します。複数機器やサーバーに分かれる場合もあります。

3. アクセラレーターが掛け算を引き受ける

   同じ掛け算を途方もない回数こなす必要があるので、まさにそのために作られた部品に任せます。その隣の速い記憶に数字が居座ります。ふつうの CPU でもできますが、その場合は遅いだけです。

複数のリクエストをまとめるのは 17 番、済んだ計算を取っておくのは 27 番 — どちらもこのプログラムの仕事です。

1. 19

   トークンに切る

   トークナイザーは文章の断片を語彙のIDに変換します。単語・部分語・文字・バイトなどがあり、同じ文章でも方式によりIDと個数が変わります。

2. 20

   番号を数字の並びへ

   IDで学習済み埋め込みを選びます。IDの大小に意味の近さはありません。ベクトルの類似性はモデルや課題に依存し、近さは同じ意味の保証ではありません。

3. 21

   順番を記す

   位置情報で順序を区別します。位置ベクトルを加える方式や回転位置埋め込みなどがあり、全Transformerで同じではありません。

4. 22

   互いを見る（アテンション）

   自己回帰Transformerは各層でattentionなどの変換を行います。因果attentionは許された過去の位置を使い、窓が限られる場合もあります。構造と層数はモデル次第です。

5. 23

   層を重ねて掛けて足す

   自己回帰Transformerは各層でattentionなどの変換を行います。因果attentionは許された過去の位置を使い、窓が限られる場合もあります。構造と層数はモデル次第です。

6. 24

   すべてに点数をつける

   最後の層が、知っているトークン全部に点数を出します。何万個に一度に点数が付きます。

7. 25

   一つ選ぶ

   softmaxがlogitsを確率に変え、温度は抽選前のlogitsを調整します。top-kは個数、top-pは累積確率で候補を絞ります。貪欲法は最高点を選び、温度0の扱いは提供者次第です。

1. 26

   後ろにつなげる

2. 27

   済んだ計算を使い回す

   KVキャッシュは自己回帰生成で過去のattentionのキーと値を再利用し、計算を節約しますがメモリが必要です。遅延は文脈長・バッチ・機器・通信にも依存します。

3. 28

   22 番へ戻る

   モデルの構造化ツール呼出しをアプリが検証し、権限内でローカルや遠隔サービスで実行します。結果をモデルへ戻せますが、制限・中止・失敗でもループは止まります。

1. 29

   トークンの番号を読める文字に戻す

2. 30

   出てくるそばから流す

   答え全体を待たず、できたそばから小さなかたまりにして押し出します（SSE）。

3. 31

   出ていくものを調べる

   出ていく文も、決まりに反していないかを見ます。

4. 32

   使った分を記録する

   送ったトークンと受け取ったトークンの数を数えます。料金が出てくるのはここです。

1. 33

   届いたかけらを順につなぐ

2. 34

   画面に描く

   マークダウンを読んで見出し・箇条書き・コード枠に変えて描きます。タイプしているように見えるのがこの部分です。

3. 35

   道具の要求を見つける

   答えの中に決まった形の道具呼び出しが混じっていないかを、プログラムが見張っています。

4. 36

   引数を確かめる

   その道具が実際にあるか、引数の形が合っているかを、動かす前に調べます。

1. 37

   許可を求める

   権限・隔離・検証・必要な承認はアプリやサービスが強制します。システム指示だけでは安全境界になりません。承認済み操作は再確認なく実行される場合があり、不備があれば制御も失敗します。

2. 38

   実際にやる

   モデルの構造化ツール呼出しをアプリが検証し、権限内でローカルや遠隔サービスで実行します。結果をモデルへ戻せますが、制限・中止・失敗でもループは止まります。

3. 39

   結果を詰める

   何が出たか、失敗したならなぜかを、6 番の会話に新しい行として詰めます。

4. 40

   15 番へ戻る

   モデルの構造化ツール呼出しをアプリが検証し、権限内でローカルや遠隔サービスで実行します。結果をモデルへ戻せますが、制限・中止・失敗でもループは止まります。