학습 없이 2.4MB PCA 헤드를 추가해 EmbeddingGemma-2(577M)를 MTEB 오디오 리더보드 26위에서 1위로 올림
I took EmbeddingGemma-2 (577M) from Rank #26 to #1 on the MTEB Audio leaderboard (MAEB), beating 9B models by adding a 2.4 MB PCA head with zero training
핵심 요약
학습 없이 모델의 빈 공간(null space)에 PCA를 적용해 오디오 임베딩 성능을 획기적으로 개선한 사례입니다.
- 성능 향상 — 577M 파라미터 모델로 9B 모델들을 제치고 MAEB 리더보드 1위 달성함
- 기술적 접근 — 모델의 768차원 중 사용되지 않는 256차원(null space)에 PCA를 주입함
- 학습 제로 — 가중치 재학습 없이 PCA 행렬만 추가하여 효율적인 오디오 특징 추출 구현함
- 한계점 — 음성 의도 파악 성능은 일부 하락할 수 있으며 특정 벤치마크에 최적화됨
모델 및 가중치: BrunoHays/embeddinggemma-2-nullspace-audio
MAEB(Massive Audio Embedding Benchmark)는 오디오 및 텍스트-오디오 임베딩을 위한 핵심 MTEB 리더보드 벤치마크인데, 현재 8B-9B급 멀티모달 모델들이 꽉 잡고 있는 판임.
내가 구글의 엣지급 모델인 google/embeddinggemma-2(577M 파라미터, 768d 벡터)를 가지고 MAEB 점수를 49.3%에서 54.4%로 (+5.1 포인트) 끌어올렸음. 가중치 학습 하나도 안 하고 MAEB audio-only 부문 26위에서 1위, 전체 MAEB 부문 16위에서 1위로 찍어 눌렀다. 추가된 건 고작 2.37MB짜리 고정된 PCA 행렬이 담긴 safetensors 파일 하나뿐임.
로컬/엣지 환경에서 이게 왜 중요한가
577M 파라미터에 768d 벡터면 9B급 옴니 모델보다 15배나 작아서 노트북이나 엣지 기기에서도 아주 잘 돌아감.
기존의 텍스트 정렬 오디오 모델들은 말하는 내용을 텍스트로 맞추는 건 잘하는데, 정작 목소리나 감정, 소리 유사성으로 분류하는 건 개판임. 마지막 레이어에서 '무슨 말을 했는지'만 남기고 '소리가 어떻게 만들어졌는지'는 다 날려버리기 때문임.
이 모델은 고정된 오디오 인코더의 앞쪽 레이어에서 특징을 뽑아와서, 기존 모델이 가진 100개 이상의 언어 텍스트-오디오 검색 능력은 유지하면서 오디오-오디오 작업 성능을 이렇게 개선함:
-
비지도 음성/성별 클러스터링: 0.05% -> 63.1%
-
아티스트/곡 오디오-오디오 검색: 55.2% -> 93.8%
-
보컬 감정 분류: 19.7% -> 40.2%
작동 원리
-
앞쪽 레이어는 여전히 음향 정보를 알고 있음: 음성 표현 연구(Pasad et al.; Bouziane, Mdhaffar & Estève)를 보면 앞쪽이나 중간 레이어에는 화자, 음정, 감정 같은 특징이 남아있는데 마지막 레이어로 가면 다 사라짐. EmbeddingGemma-2의 레이어 2와 레이어 6에는 그 신호들이 아직 살아있음.
-
768d 벡터 중 256개의 빈 공간: EmbeddingGemma-2의 텍스트 백본은 사실 512d인데, 마지막에
768 x 512선형 행렬을 써서 768d로 뻥튀기한 거임. 즉, 텍스트 벡터가 전혀 건드리지 않는 **256개의 수직 방향(널 스페이스, null space)**이 남아있다는 소리임.
