연구원들, 품질 저하 없이 LLM 학습 연산량 15% 줄이는 방법 발견
Researchers Discover a Way to Reduce LLM Training Compute by 15% Without Sacrificing Quality
핵심 요약
LLM 학습 시 표현 붕괴를 막고 연산 효율을 15% 높이는 'LIMe' 기법이 소개되었습니다.
- LIMe 기법 — 이전 층의 정보만 사용하는 기존 방식 대신 초기 층의 정보를 재사용함
- 표현 붕괴 방지 — 토큰 간 유사도가 지나치게 높아지는 문제를 해결하여 모델 품질 유지
- 학습 효율성 — 10억 파라미터 모델 기준 동일 학습 손실 대비 연산량 15% 절감
- 오픈 소스 공개 — 연구진이 공식 구현 코드를 깃허브에 공개하여 검증 가능함
현재 헝가리에서 열리고 있는 A* 학회인 EMNLP 2026에서, T-Tech 연구진이 품질 저하 없이 언어 모델 학습 연산량을 약 15% 줄일 수 있는 LIMe라는 기법을 발표했음.
기존 트랜스포머 구조는 각 레이어가 오직 이전 레이어의 히든 스테이트에만 의존하기 때문에, 모든 문맥 정보가 그 통로를 거쳐야만 함. 연구진은 이게 표현 붕괴(representation collapse)를 유발한다고 지적함. 토큰들이 서로 점점 비슷해지면서 고유한 특징이 사라지고, 결국 모델 성능이 박살 나는 거임.
LIMe(Layer-Integrated Memory)는 어텐션 메커니즘을 가볍게 확장한 건데, 각 레이어에서 이미 유지하고 있는 키-밸류 버퍼를 활용하고 각 어텐션 헤드와 레이어에 맞는 학습 가능한 라우팅 가중치를 도입함. 이 가중치 덕분에 어텐션 헤드가 바로 앞 레이어뿐만 아니라 더 이전 레이어의 정보까지 가져와서 조합할 수 있게 됨. 히든 스테이트 크기는 그대로 유지하면서 이전에 계산된 정보를 재사용하는 방식임.
약 10억 개의 파라미터를 가진 모델로 실험해 본 결과, LIMe는 기존 LLaMA와 동일한 학습 손실(training loss)을 기록하면서도 연산량은 15%나 줄였음. 언어 모델링이나 다단계 추론 벤치마크에서도 경쟁 방식들을 압살함. 특히 합성 산술 작업이나 레이어가 깊은 구조에서 성능 향상이 두드러졌음.
연구진은 LIMe가 밸류 벡터의 엔트로피를 높이고 토큰 간 분리도를 개선해서, 근본적인 문제인 표현 붕괴를 효과적으로 막아준다고 설명함. 학습된 라우팅 가중치를 분석해 보면 모델이 국소적 특징과 장거리 특징을 체계적으로 재사용하고 있다는 점도 확인할 수 있음.
논문: https://arxiv.org/abs/2502.09245
공식 구현: https://github.com/corl-team/lime
