LLM 포스트 트레이닝에서 가중치 삭제의 놀라운 효율성
The Surprising Effectiveness of Deleting Weights in LLM Post-Training
핵심 요약
LLM 가중치의 0.05% 미만만 삭제해도 전체 파인튜닝과 대등한 성능을 낸다는 연구 결과가 발표되었습니다.
- 삭제 튜닝 방식 — 트랜스포머 블록의 게이트 프로젝션에 이진 마스크를 적용해 가중치를 0으로 만듦
- 효율성 극대화 — 기존 파인튜닝 대비 체크포인트 크기가 수백~수천 배 작고 망각 현상도 적음
- 지속 학습 해결 — 강화 학습 시 기존 작업의 정확도를 유지하면서 새로운 능력 습득 가능
- 성능 분석 — 안정적 랭크와 스펙트럼 드리프트 분석 결과 전체 파인튜닝과 가장 유사한 특성을 보임
arxiv.org
원문 사이트로 이동
사전 학습된 거대 언어 모델(LLM)의 가중치를 얼마나 조금만 건드려도 새로운 능력을 얻을 수 있을까? 우리가 확인해 보니, 전체 가중치의 0.05%도 안 되는 부분을 0으로 만드는 것만으로도, 다른 수정 없이 검증 가능한 보상을 활용한 강화 학습, 지도 미세 조정, 온-정책 증류라는 세 가지 LLM 사후 학습 체제에서 전체 미세 조정(FFT)과 맞먹는 성능을 낸다는 걸 알아냈다. 우리 방식인 'Deletion Tuning'은 트랜스포머 블록의 게이트 프로젝션에 이진 마스크를 학습시키는 방식이다. 여기에는 두 가지 실질적인 장점이 있는데, 학습된 마스크가 FFT 체크포인트보다 수백에서 수천 배 더 작다는 점, 그리고 Deletion Tuning은 망각이 훨씬 적어서 지속적 학습의 핵심 난제를 해결한다는 점이다. 강화 학습 환경에서 이전 작업의 정확도는 거의 기본 수준을 유지하는 반면, FFT나 LoRA, 무작위 희소 미세 조정은 최대 5.4점까지 성능이 떨어진다. 왜 마스킹만으로 충분한지 이해하기 위해, 우리는 안정 순위(stable rank), 스펙트럼 드리프트, 주 가중치 중첩을 사용하여 강화 학습 하에서 학습된 가중치 변화의 기하학적 구조를 분석했다. LoRA나 무작위 희소 미세 조정과 비교했을 때, Deletion Tuning은 이 세 가지 지표 모두에서 FFT와 가장 유사한 결과를 보여준다.
