重み（weight）とパラメータ（parameter）— 3B・7B・オープンウェイト

AIモデルは、文章や事実をそのまま覚えているわけではありません。数値を持っていて、答えはその数値から計算します。この数値を parameter（パラメータ）と呼び、その代表的なものを weight（重み）と呼びます。

• 

  weight

  重み

  英語で weight、たくさんあるときは weights と言います。式やコードでは、ふつう w と書きます。

  入力が結果にどれだけ強く影響するかを決める数値です。その入力にかけ算します。

  音響卓のつまみ一つのようなものです。

• 

  parameter

  パラメータ

  英語で parameter、たくさんあるときは parameters と言います。短く params と書くこともよくあります。

  モデルが学習しながら自分で調整する数値のすべてです。重みが最も多いですが、重みだけではありません。

  音響卓のつまみ全部を数えたようなものです。

重みはパラメータですが、すべてのパラメータが重みというわけではありません。

「重みをダウンロードする」のように、パラメータ全体を単に重み（weights）と呼ぶことがよくあります。そのファイルには、バイアスなど学習で得たほかの数値も入っています。

ニューラルネットワークの小さな単位は、入力に重みをかけてから、バイアスを足します。重みが変わると、同じ入力でも結果が変わります。

同じ入力で、重みを三通りに変えると

1. 3 × 2 + 1 = 7 重みが大きい: 入力が強く反映されます
2. 0 × 2 + 1 = 1 0: 入力は無視されます
3. -1 × 2 + 1 = -1 マイナス: 入力が逆向きに働きます

実際のモデルは、この計算を何十億もの重みで、層ごとに繰り返します。計算一つ一つはこれだけ単純です。ただ、その数がとても多いのです。

重みを自分で学習させてみる

人が入力するのではありません。学習はでたらめな数値から始めて、何度も直していきます。終わると数値をファイルに保存し、モデルが答えるあいだは変わりません。

会話しても重みは変わりません。ふつうの会話は重みを使うだけです。変わるのは、モデルをもう一度学習させたときだけです。

パラメータとハイパーパラメータ

名前は似ていますが、役目は違います。人が学習の前にハイパーパラメータを選び、学習がパラメータを見つけます。

数字のあとの文字は、パラメータの個数を表します。ファイルの大きさではありません。7B は、数値が約 70 億個という意味です。

M

100万 1,000,000

B

10億 1,000,000,000

T

1兆 1,000,000,000,000

モデル名の読み方

モデルによっては、トークン一つごとにパラメータの一部だけを使います。そのようなモデルの名前には、二つの数字が書かれています。

Active が小さくても、軽く読み込めるわけではありません。モデル全体をメモリに置く必要があります。

大きさは、数値一つに何ビット使うかで決まります。量子化は、数値の個数はそのままで、一つ一つをより少ないビットで保存します。

重み容量 ≈ パラメータ数 × 1パラメータのビット数 ÷ 8

実際のファイルは、メタデータも入っているので少し大きくなります。モデルを動かすときは、KV キャッシュやバッファ用のメモリも余分に必要です。

これらの言葉は、モデルをどこまで受け取れるかを表します。下に行くほど、多くを受け取れます。

オープンモデルは決まった規格の名前ではなく、ふだん使う言葉で、たいていオープンウェイトを指します。オープンウェイトのモデルをオープンソースと呼ぶ会社もあるので、ライセンスを読みましょう。

オープンウェイトにもライセンスがある

Apache 2.0 · MIT

制限が少ないです。表示を残せば、商用でも使えます。 Mistral 7B · gpt-oss · DeepSeek V4.1 Flash

独自ライセンス

会社が自分で決めた条件です。そのモデルで事業を始める前に読みましょう。 Llama · Mistral Large 4

最近の例: Mistral Large 4

llama3.2:3b は 3B のモデルです。Ollama に書かれているダウンロードサイズは 2.0 GB で、ノートパソコンにも入ります。

ollama run llama3.2:3b

• 「B はバイトのこと」

  ここでの B は billion（10億）です。7B モデルの大きさは、数値一つのビット数で決まります。

• 「パラメータが多いほど賢い」

  数値が多いと、入れられる量が増え、モデルは重くなります。どれだけ良いかは、学習データと設計でも決まります。

• 「オープンウェイトはオープンソース」

  作り方は分からず、できあがった数値だけを受け取る場合もあり、ライセンスに制限があることもあります。

• 「量子化はパラメータを減らす」

  個数はそのままで、一つ一つをより少ないビットで保存します。7B は 7B のままです。

• 「関数の parameter と同じもの」

  プログラミングや API の parameter は、渡す値のことです。モデルの parameter は、学習で得た数値です。

• 「アテンションの重みはモデルの重み」

  アテンションの重みは、文ごとに新しく計算し、合計が 1 になります。モデルのファイルには保存されません。

2026-10-31 にこれらのページに載っていた数値です。モデル名とライセンスは変わるので、最新のページを確認してください。

• Open Source Initiative — The Open Source AI Definition 1.0(新しいタブで開きます)
• Open Source Initiative — Open Source AI FAQ(新しいタブで開きます)
• Google — Machine Learning Glossary(新しいタブで開きます)
• Ollama — llama3.2(新しいタブで開きます)
• Hugging Face — mistralai/Mistral-7B-v0.1(新しいタブで開きます)
• Hugging Face — openai/gpt-oss-20b(新しいタブで開きます)
• Hugging Face — Qwen/Qwen3-Coder-30B-A3B-Instruct(新しいタブで開きます)
• Language Models are Few-Shot Learners (GPT-3, arXiv)(新しいタブで開きます)
• Hugging Face — deepseek-ai/DeepSeek-V4.1-Flash-1017(新しいタブで開きます)
• Hugging Face — mistralai/Mistral-Large-4-1T-A52B(新しいタブで開きます)