AIの正体

このページは、言語モデルの代表的なしくみを説明しています。「穴うめチャンピオン」はたとえで、すべてのAIが同じしくみではありません。モデルは学習するとき、たくさんの例を使って内部の数を調整します。答えを作るときは、その数とそれまでの文章から、次の文字のかたまりが続く可能性を計算します。このかたまりをトークンと呼びます。いつも一番可能性が高いものだけを選ぶわけではないので、答えが変わることもあります。続きやすい言葉が、必ず本当とは限りません。

推論モデルはどうやって答えるの？

1. 1 質問を読む
2. 2 考えメモをつなげて書く 1回目のつなげ書き — 計算用紙
3. 3 答えをつなげて書く 2回目のつなげ書き — 考えメモも見ながら

「考え中…」と表示してから答えるAIがあります。このようなAIを推論モデルといいます。推論モデルが、ひみつの別の方法を使っているわけではありません。このページで見たのと同じ方法で答えます。それまでの言葉を見て、次のかたまりを選び、うしろにつなげ、終わるまでくり返します。

ちがうのは一つだけです。答える前に、この方法をもう一回使います。まず、問題を解くための考えメモを、かたまりごとにつなげて書きます。条件を整理し、計算してみて、まちがいを見つけたら解き直します。そのあと、質問と自分が書いた考えメモをまとめて「それまでの言葉」として見ながら、答えをかたまりごとにつなげて書きます。計算用紙に先に解き方を書き、それを見ながら答案用紙に答えを書くのに似ています。

それまでの言葉の中に解き方があるので、算数やプログラミングのように何段階もある問題でよく当たることが多くなります。推論モデルは、役に立つ考えメモを書けるように、さらに練習したモデルです。でも、考えメモも次のかたまりを選ぶ計算で作った文です。だから長く考えてもまちがえることがあり、時間と計算もたくさんかかります。大事な答えは、やっぱり自分で確かめましょう。

AIに聞いてみる

外には一つずつ、中では深く計算しています

「次のかたまりを選ぶ」というのは、答えが外に出てくるようすのことです。中でいいかげんに考えているという意味ではありません。かたまりを一つ選ぶたびに、モデルはそれまでの言葉ぜんぶを、層とよばれる数十の計算の段に順番に通します。そのあいだに、だれがだれか、何を聞かれているか、次にどんな言葉が来るべきかを数字で調べます。

先のことを考えることもあります。Anthropic の研究チームが、韻をふむ詩を書いている言語モデルの中をのぞいてみると、行の最後に来る言葉を先に決めて、その言葉にたどり着くように行の前の部分を書いていました。外に出てくるのは一つずつでも、中の計算はもっと先まで見ています。階段のてっぺんを見ながら一段ずつのぼるのに似ています。

AIに聞いてみる

すべてのAIがかたまりをつなげて書くわけではありません

• 絵をつくるAI（拡散モデル）：ノイズだらけの絵ぜんたいから始めて、何回にも分けて、絵ぜんたいを少しずつきれいに整えます。
• 拡散型の言語モデル：文もこの方法で作れます。Gemini Diffusion や Mercury のようなモデルは、空らんだらけの答えぜんたいを一度に並べ、たくさんのかたまりをいっしょにうめて直していきます。
• 分類・おすすめのAI：写真の動物がネコかどうかを見分けたり、見たい動画を選んでくれたりします。長い答えをつなげて書かずに、点数をつけたり、決まった答えの中から選んだりします。

それでも、リエン・ChatGPT・Claude のように文字で会話するAIの多くは、このページで見た方法、つまりかたまりを一つずつつなげる方法で答えます。

AIに聞いてみる

出典と参考資料

• NIST — 生成AIのまちがいとリスクについての資料（英語）
• Hugging Face — 次の文字のかたまりを選ぶしくみ（英語）
• Anthropic — 言語モデルの考えをたどる（英語）
• DeepSeek-R1 論文 — 強化学習で推論する力を育てる（英語）