[논문] 언어 모델은 얼마나 많은 정보를 암기하는가?
[Paper] How much do language models memorize?
핵심 요약
언어 모델의 암기 용량을 파라미터당 약 3.6비트로 추정하고, 암기와 일반화의 관계를 분석한 연구를 소개합니다.
- 암기 용량 측정 — 파라미터당 약 3.6비트의 암기 용량을 가진다는 연구 결과임.
- 암기와 일반화 — 모델이 데이터를 단순히 암기하는 것과 일반화하는 과정을 분리하여 분석함.
- Grokking 현상 — 모델의 암기 용량이 차면 일반화가 시작되는 'Grokking' 현상을 관찰함.
- 스케일링 법칙 — 모델 크기와 데이터 규모가 암기 및 추론에 미치는 영향을 법칙으로 정리함.
[블록 1/3] > 우리는 모델이 데이터 포인트에 대해 얼마나 알고 있는지 추정하는 새로운 방법을 제안하고, 이를 사용하여 현대 언어 모델의 용량을 측정함. 이전의 언어 모델 암기 연구들은 암기와 일반화를 분리하는 데 어려움을 겪었음. 우리는 암기를 두 가지 구성 요소로 공식적으로 분리함: 특정 데이터셋에 대해 모델이 포함하는 정보인 '의도치 않은 암기'와, 실제 데이터 생성 과정에 대해 모델이 포함하는 정보인 '일반화'임. 일반화를 완전히 제거하면 총 암기량을 계산할 수 있으며, 이는 모델 용량에 대한 추정치를 제공함. 우리의 측정 결과에 따르면 GPT 스타일 모델의 용량은 파라미터당 약 3.6비트로 추정됨. 우리는 점점 커지는 데이터셋으로 언어 모델을 학습시키면서 모델이 용량이 찰 때까지 암기한다는 것을 관찰함. 그 시점에 'grokking'이 시작되고, 모델이 일반화를 시작하면서 의도치 않은 암기는 감소함. 우리는 500K에서 1.5B 파라미터에 이르는 수백 개의 트랜스포머 언어 모델을 학습시키고, 모델 용량과 데이터 크기를 멤버십 추론과 연관시키는 일련의 스케일링 법칙을 도출함.
[블록 2/3] arXiv : https://arxiv.org/abs/2505.24832
[블록 3/3] Full Paper : https://arxiv.org/pdf/2505.24832
