가중치(weight)와 파라미터(parameter)란? — 3B·7B·오픈 웨이트의 뜻
은 으로 얻은 숫자의 묶음입니다. 이 숫자가 (파라미터), 대부분이 (가중치)입니다. 하는 일과 ·7B 의 뜻, 를 설명합니다.
가중치와 파라미터 — 영어로는 weight 와 parameter
은 문장이나 사실을 그대로 담아 두지 않습니다. 숫자를 담아 두고, 답은 그 숫자로 계산합니다. 이 숫자를 파라미터(parameter)라 하고, 그중 대표적인 것을 가중치(weight)라고 합니다.
-
weight
가중치
영어로 weight, 여러 개면 weights 라고 합니다. 수식과 코드에서는 흔히 w 로 씁니다.
입력 하나가 결과에 얼마나 세게 영향을 줄지 정하는 숫자입니다. 그 입력에 곱해집니다.
음향 조절대의 손잡이 하나와 같습니다.
-
parameter
파라미터
영어로 parameter, 여러 개면 parameters 라고 합니다. 매개변수라고도 하고, 줄여서 params 라고도 씁니다.
모델이 하며 스스로 고치는 숫자 전부입니다. 가중치가 가장 많지만 가중치만 있는 것은 아닙니다.
조절대의 손잡이 전부를 센 것과 같습니다.
가중치는 파라미터이지만, 모든 파라미터가 가중치인 것은 아닙니다.
사람들은 파라미터 전부를 그냥 가중치(weights)라고 부를 때가 많습니다. “가중치를 내려받는다”의 그 파일에는 같은 다른 학습 숫자도 들어 있습니다.
파라미터에 들어가는 것
-
가중치 weight
입력에 곱합니다. 얼마나 세게 반영할지 정합니다.
-
편향 bias
끝에 더합니다. 결과를 위아래로 옮깁니다.
-
임베딩 embedding
마다 그 토큰을 나타내는 숫자 목록입니다.
-
정규화 계수 normalization coefficient
값의 범위를 고르게 맞추는 학습 숫자입니다.
가중치 하나가 하는 일
의 작은 단위 하나는 입력에 가중치를 곱한 뒤 편향을 더합니다. 가중치가 바뀌면 같은 입력에서도 결과가 달라집니다.
같은 입력에 가중치만 바꾸면
-
3 × 2 + 1 = 7가중치가 크면 입력이 크게 반영됩니다 -
0 × 2 + 1 = 10 이면 입력을 무시합니다 -
-1 × 2 + 1 = -1음수면 입력이 반대쪽으로 밉니다
실제 모델은 이 계산을 수십억 개의 가중치로 층층이 되풀이합니다. 계산 하나하나는 이만큼 단순하고, 그 수가 아주 많을 뿐입니다.
이 숫자는 누가 정할까? 학습이 정한다
사람이 적어 넣지 않습니다. 학습은 무작위 숫자에서 시작해 몇 번이고 고쳐 나갑니다. 학습이 끝나면 숫자를 파일에 저장하고, 답할 때는 그대로 둡니다.
-
무작위 숫자로 시작
-
예측하기
-
틀린 정도 재기
-
모든 숫자를 조금씩 고치기
여러 번 되풀이
대화한다고 가중치가 바뀌지는 않습니다. 보통의 대화는 가중치를 쓰기만 하고, 다시 학습할 때만 바뀝니다.
파라미터와 하이퍼파라미터
이름은 비슷해도 하는 일이 다릅니다. 사람이 학습 전에 하이퍼파라미터를 고르면, 학습이 파라미터를 찾아냅니다.
| 파라미터 | 하이퍼파라미터 | |
|---|---|---|
| 누가 정하나 | 학습이 데이터에서 찾아냅니다 | 사람이 고릅니다 |
| 언제 | 학습하는 내내 바뀝니다 | 학습을 시작하기 전에 정합니다 |
| 예 | 가중치, 편향 | 학습률, 배치 크기, 층의 수, 에포크 |
3B·7B 는 무엇을 세는 걸까
숫자 뒤의 글자는 파라미터의 개수입니다. 파일 크기가 아닙니다. 7B 는 숫자가 약 70억 개라는 뜻입니다.
- M
- 100만 1,000,000
- B
- 10억 1,000,000,000
- T
- 1조 1,000,000,000,000
모델 이름 읽기
어떤 모델은 토큰 하나를 처리할 때 파라미터의 일부만 씁니다. 이런 모델은 이름에 두 숫자를 모두 적습니다.
Mistral-Large-4 1T A52B
- Mistral-Large-4
- 모델의 이름
- 1T
- 모델 전체의 파라미터 수
- A52B
- A 는 Active — 토큰 하나를 처리할 때 쓰는 파라미터 수
Active 가 작다고 가볍게 띄울 수 있는 것은 아닙니다. 모델 전체가 메모리에 있어야 합니다.
7B 모델은 얼마나 클까
크기는 숫자 하나에 몇 를 쓰는지에 달렸습니다. 는 숫자의 개수는 그대로 두고 숫자 하나를 더 적은 비트로 저장합니다.
가중치 용량 ≈ 파라미터 수 × 파라미터당 비트 수 ÷ 8
| 모델 | 32비트 | 16비트 | 8비트 | 4비트 |
|---|---|---|---|---|
| 3B | 12 GB | 6 GB | 3 GB | 1.5 GB |
| 7B | 28 GB | 14 GB | 7 GB | 3.5 GB |
| 70B | 280 GB | 140 GB | 70 GB | 35 GB |
실제 파일은 도 담아 조금 더 큽니다. 모델을 돌릴 때는 와 버퍼를 위한 가 더 필요합니다.
오픈 웨이트·오픈 모델·오픈 소스는 같은 말이 아니다
이 말들은 모델을 어디까지 받을 수 있는지를 나타냅니다. 아래로 갈수록 더 많이 받습니다.
-
닫힌 모델(closed model)
회사의 앱이나 로만 씁니다. 가중치는 회사 에 있습니다.
예 Claude, Gemini, ChatGPT 바탕의 GPT 모델
-
오픈 웨이트(open weights · open model)
가중치를 내려받아 에서 돌릴 수 있습니다. 어떻게 학습했는지는 공개하지 않을 수 있습니다.
예 Llama, Qwen, DeepSeek, gpt-oss, Mistral Large 4
-
오픈 소스 AI(open source AI)
학습 와 의 자세한 정보까지 받고, 누구나 쓰고 고치고 나눌 수 있는 조건입니다.
예 OLMo, Pythia, T5. Open Source Initiative 의 검증 단계를 통과했지만 인증은 아닙니다.
| 내려받는 가중치 | 학습 코드 | 학습 데이터의 자세한 정보 | 쓰고 고치고 나눌 자유 | |
|---|---|---|---|---|
| 닫힌 모델(closed model) | 아니요 | 아니요 | 아니요 | 아니요 |
| 오픈 웨이트(open weights · open model) | 예 | 모델마다 다름 | 대개 일부만 | 라이선스에 따라 |
| 오픈 소스 AI(open source AI) | 예 | 예 | 예 | 예 |
오픈 모델은 정해진 규격 이름이 아니라 일상적인 말이고, 대개 오픈 웨이트를 뜻합니다. 오픈 웨이트 모델을 오픈 소스라고 부르는 회사도 있으니 라이선스를 읽어 보세요.
오픈 웨이트에도 라이선스가 있다
- Apache 2.0 · MIT
- 제한이 적습니다. 고지만 남기면 상업적으로도 쓸 수 있습니다. Mistral 7B · gpt-oss · DeepSeek V4.1 Flash
- 자체 라이선스
- 회사가 직접 정한 조건입니다. 사업에 쓰기 전에 읽어 보세요. Llama · Mistral Large 4
최근의 예 — Mistral Large 4
Mistral AI 는 2026년 10월 Mistral Large 4 의 가중치를 에 공개했습니다. 파라미터는 약 1T 개이고, 토큰 하나마다 약 52B 개를 씁니다. 라이선스는 이 아니라 Mistral Ecosystem Open-Weight License 이며, 이 모델로 모델 서비스를 운영하려면 Mistral 의 상용 라이선스가 따로 필요합니다.
Hugging Face 의 모델 카드 (새 탭에서 열림)작은 모델을 직접 돌려 보기
llama3.2:3b 는 3B 모델입니다. 에 적힌 내려받기 크기는 2.0 로, 노트북에도 들어갑니다.
ollama run llama3.2:3b자주 헷갈리는 것
-
“B 는 바이트다”
여기서 B 는 Billion(10억)입니다. 7B 모델의 크기는 숫자 하나의 비트 수에 달렸습니다.
-
“파라미터가 많을수록 똑똑하다”
숫자가 많으면 담을 수 있는 양이 늘고 모델이 무거워집니다. 얼마나 좋은지는 학습 데이터와 설계도 정합니다.
-
“오픈 웨이트는 오픈 소스다”
조리법 없이 완성된 숫자만 받을 수도 있고, 라이선스에 제한이 있을 수도 있습니다.
-
“양자화는 파라미터를 없앤다”
개수는 그대로 두고 하나하나를 더 적은 비트로 저장합니다. 7B 는 그대로 7B 입니다.
-
“함수의 parameter 와 같은 말이다”
프로그래밍과 API 의 parameter 는 넘겨주는 값입니다. 모델의 parameter 는 학습으로 얻은 숫자입니다.
-
“어텐션 가중치는 모델의 가중치다”
어텐션 가중치는 문장마다 새로 계산하고 합이 1 입니다. 모델 파일에 저장되지 않습니다.
출처
2026-10-31 에 이 페이지들에 적혀 있던 수치입니다. 모델 이름과 라이선스는 바뀌니 지금 페이지를 확인하세요.
- Open Source Initiative — The Open Source AI Definition 1.0(새 탭에서 열림)
- Open Source Initiative — Open Source AI FAQ(새 탭에서 열림)
- Google — Machine Learning Glossary(새 탭에서 열림)
- Ollama — llama3.2(새 탭에서 열림)
- Hugging Face — mistralai/Mistral-7B-v0.1(새 탭에서 열림)
- Hugging Face — openai/gpt-oss-20b(새 탭에서 열림)
- Hugging Face — Qwen/Qwen3-Coder-30B-A3B-Instruct(새 탭에서 열림)
- Language Models are Few-Shot Learners (GPT-3, arXiv)(새 탭에서 열림)
- Hugging Face — deepseek-ai/DeepSeek-V4.1-Flash-1017(새 탭에서 열림)
- Hugging Face — mistralai/Mistral-Large-4-1T-A52B(새 탭에서 열림)