权重（weight）和参数（parameter）是什么？3B、7B 与开放权重的含义
是一大堆学习得到的数字。这些数字叫 （参数），大部分叫 （权重）。来看看它们的作用、、7B 数的是什么，以及能拿到什么。
权重和参数：英文是 weight 和 parameter
不会把句子或事实原样存起来。它存的是数字，每个答案都由这些数字算出来。这些数字叫 parameter（参数），其中最主要的一类叫 weight（权重）。
-
weight
权重
英文是 weight，很多个时叫 weights。在公式和代码里通常写成 w。
决定一个输入对结果影响有多大的数字。它要乘到这个输入上。
就像调音台上的一个音量旋钮。
-
parameter
参数
英文是 parameter，很多个时叫 parameters。常简写成 params。
模型在学习时自己调整的所有数字。权重是最大的一类，但不是唯一的一类。
就像把调音台上所有旋钮加在一起数。
权重都是参数，但参数不全是权重。
人们常把全部参数直接叫作权重（weights），比如“下载权重”。那个文件里还有和其他学到的数字。
哪些算参数
-
权重 weight
乘到输入上，决定它占多大分量。
-
偏置 bias
最后加上去，把结果整体上移或下移。
-
嵌入 embedding
代表每个 的一串数字。
-
归一化系数 normalization coefficient
让数值保持在稳定范围内的学习所得数字。
一个权重怎么起作用
里的一个小单元，先把输入乘以权重，再加上偏置。权重一变，同样的输入就会得到不同的结果。
同一个输入，三种不同的权重
-
3 × 2 + 1 = 7权重大：输入占很大分量 -
0 × 2 + 1 = 1为零：输入被忽略 -
-1 × 2 + 1 = -1为负：输入把结果推向相反方向
真正的模型会用几十亿个权重，一层又一层地重复这样的计算。每一次计算都这么简单，只是数量非常多。
这些数字由谁来定？由训练来定
没有人手动输入。从随机数字开始，一遍又一遍地修正。训练结束后，数字存进文件，模型回答问题时保持不变。
-
从随机数字开始
-
做出预测
-
衡量
-
把每个数字都稍微调一点
重复很多次
聊天不会改变权重。普通的聊天只是在使用权重。只有重新训练模型时，权重才会变。
参数还是超参数？
名字很像，但作用不同：人在训练前选定超参数，然后训练去找出参数。
| 参数 | 超参数 | |
|---|---|---|
| 谁来定 | 训练从数据中找出来 | 由人选择 |
| 什么时候 | 训练过程中不断更新 | 训练开始前就定好 |
| 例子 | 权重、偏置 | 学习率、批大小、层数、轮数（epoch） |
3B 和 7B 数的是什么
数字后面的字母数的是参数的个数，不是文件大小。7B 表示大约 70 亿个数字。
- M
- 百万 1,000,000
- B
- 十亿 1,000,000,000
- T
- 万亿 1,000,000,000,000
怎么读模型名字
有些模型处理每个 token 时只用一部分参数。它们的名字里会写两个数字。
Mistral-Large-4 1T A52B
- Mistral-Large-4
- 模型的名字
- 1T
- 整个模型的参数数量
- A52B
- A 表示 Active：处理每个 token 时用到的参数数量
Active 小不代表加载起来更轻。整个模型仍然要放进内存。
7B 模型有多大？
大小取决于每个数字用多少位（bit）。不改变数字的个数，只是把每个数字存成更少的位。
权重容量 ≈ 参数量 × 每参数位数 ÷ 8
| 模型 | 32 位 | 16 位 | 8 位 | 4 位 |
|---|---|---|---|---|
| 3B | 12 GB | 6 GB | 3 GB | 1.5 GB |
| 7B | 28 GB | 14 GB | 7 GB | 3.5 GB |
| 70B | 280 GB | 140 GB | 70 GB | 35 GB |
实际文件会稍大一点，因为里面还有。运行模型还需要额外的来放 和缓冲区。
开放权重、开放模型、开源：并不相同
这些词说明你能拿到模型的多少内容。越往下，拿到的越多。
-
-
开放权重（open weights · open model）
你可以下载权重，在自己的电脑上运行。它是怎么训练的，可能不公开。
例子 Llama、Qwen、DeepSeek、gpt-oss、Mistral Large 4
-
开源 AI（open source AI）
你还能拿到训练和的详细信息，条件是任何人都可以使用、修改和分享。
例子 OLMo、Pythia、T5。它们通过了 Open Source Initiative 的验证阶段，但这不是认证。
| 可下载的权重 | 训练代码 | 训练数据的详细信息 | 可自由使用、修改和分享 | |
|---|---|---|---|---|
| 闭源模型（closed model） | 否 | 否 | 否 | 否 |
| 开放权重（open weights · open model） | 是 | 因模型而异 | 通常只有一部分 | 取决于许可证 |
| 开源 AI（open source AI） | 是 | 是 | 是 | 是 |
开放模型是日常说法，不是有明确定义的标准，通常指开放权重。有些公司把只开放权重的模型叫作开源，所以要读许可证。
开放权重也有许可证
- Apache 2.0 · MIT
- 限制很少。保留声明，就可以商用。 Mistral 7B · gpt-oss · DeepSeek V4.1 Flash
- 自有许可证
- 公司自己定的条款。在用这个模型做生意之前，先读一读。 Llama · Mistral Large 4
最近的例子：Mistral Large 4
Mistral AI 在 2026 年 10 月把 Mistral Large 4 的权重发布到了 。这个模型大约有 1T 个参数，处理每个 token 时用其中大约 52B 个。它的许可证是 Mistral Ecosystem Open-Weight License，不是 ：用它来提供模型服务，需要另向 Mistral 申请商用许可证。
Hugging Face 上的 model card (在新标签页中打开)亲手试试小模型
llama3.2:3b 是一个 3B 模型。 上标注的下载大小是 2.0 ，笔记本电脑也装得下。
ollama run llama3.2:3b常见的误解
-
“B 是字节”
这里的 B 是 billion（十亿）。7B 模型有多大，取决于每个数字用多少位。
-
“参数越多就一定越聪明”
数字越多，容量越大，模型也越重。它有多好，还取决于训练数据和设计。
-
“开放权重就是开源”
你可能只拿到做好的数字，没有做法，而且许可证可能有限制。
-
“量化会去掉参数”
它保留参数的个数，只是把每个参数存成更少的位，所以 7B 还是 7B。
-
“函数的 parameter 是同一回事”
在编程和 API 里，parameter 是你传进去的值。模型的 parameter 是训练学到的数字。
-
“注意力权重就是模型权重”
注意力权重是针对每个句子重新计算的，加起来等于 1。它们不保存在模型文件里。
来源
数字为 2026-10-31 这些页面上显示的数据。模型名称和许可证会变化，请查看当前页面。
- Open Source Initiative — The Open Source AI Definition 1.0(在新标签页中打开)
- Open Source Initiative — Open Source AI FAQ(在新标签页中打开)
- Google — Machine Learning Glossary(在新标签页中打开)
- Ollama — llama3.2(在新标签页中打开)
- Hugging Face — mistralai/Mistral-7B-v0.1(在新标签页中打开)
- Hugging Face — openai/gpt-oss-20b(在新标签页中打开)
- Hugging Face — Qwen/Qwen3-Coder-30B-A3B-Instruct(在新标签页中打开)
- Language Models are Few-Shot Learners (GPT-3, arXiv)(在新标签页中打开)
- Hugging Face — deepseek-ai/DeepSeek-V4.1-Flash-1017(在新标签页中打开)
- Hugging Face — mistralai/Mistral-Large-4-1T-A52B(在新标签页中打开)