LLM 신경해부학 III - LLM은 언어가 아닌 기하학으로 사고하는 듯하다
LLM Neuroanatomy III - LLMs seem to think in geometry, not language
핵심 요약
LLM이 언어와 무관하게 기하학적 공간에서 개념을 처리한다는 연구 결과를 공유하며, 다양한 언어와 모달리티에서 공통된 패턴을 발견함.
- 언어 독립적 사고 — 8개 언어 실험 결과, 언어 정체성은 사라지고 개념적 유사성이 기하학적 공간에서 수렴함.
- 모달리티 통합 — 텍스트, 코드, 수식 등 서로 다른 형태의 데이터가 모델 내부에서 동일한 영역으로 모임.
- 기하학적 구조 — 트랜스포머 모델 전반에서 나타나는 보편적인 현상으로, 문법이 아닌 기하학적 구조로 사고함.
- 시각화 도구 — 사용자가 직접 PCA 시각화를 체험할 수 있는 웹 위젯과 관련 코드 및 데이터를 공개함.
안녕 레딧!
지난달에 저는 휴가를 떠나기 직전에 LLM 신경해부학 시리즈의 3부를 올렸습니다. 🏝️ 불행히도, 다듬을 시간이 없어서 조금 '엉성'했습니다. 그래서 글을 내리고 레딧 게시물도 삭제했죠.
주말 동안 글을 수정하고 Gemma-4 31B 결과를 추가했습니다! Gemma-4-31B-RYS도 마무리 중이고(분석은 밤새 돌아갈 겁니다), 이번 주에 Qwen3.6-35B-RYS도 공개할 예정입니다.
좋아요, 시리즈를 계속 보셨다면 2부에서 제가 LLM이 보편적인 언어로 사고하는 것 같다고 말한 걸 아실 겁니다. 그건 중국어와 영어를 비교한 아주 작은 실험이었죠. 이번에는 더 깊이 파고들었습니다.
블로그를 읽지 않을 분들을 위한 요약(TL;DR):
- 실험을 2개 언어에서 8개 언어(EN, ZH, AR, RU, JA, KO, HI, FR)로 확장했고, 4개의 서로 다른 모델(Qwen3.5-27B, MiniMax M2.5, GLM-4.7, GPT-OSS-120B, Gemma-4 31B)을 사용했습니다. 다섯 모델 모두 같은 결과를 보여줍니다. 중간 레이어에서 힌디어로 된 광합성에 관한 문장은 힌디어로 된 요리에 관한 문장보다 일본어로 된 광합성에 관한 문장에 더 가깝습니다. 언어 정체성은 기본적으로 사라집니다!
- 그다음 더 어려운 테스트를 했습니다: 영어 설명, 파이썬 함수(한 글자 변수만 사용 — 속임수 없음), 그리고 같은 개념에 대한 LaTeX 수식입니다. ½mv²,
0.5 * m * v ** 2, 그리고 "half the mass times velocity squared"는 모델 내부 공간의 같은 영역으로 수렴하기 시작합니다. 보편적 표현은 언어에만 국한되지 않고 모달리티(양식)에도 국한되지 않기 시작했습니다(이 작은 모델들에서는 결과가 아주 강력하진 않습니다. Opus나 ChatGPT-5.4에서 시도해보고 싶네요). - 이는 5개 조직의 밀집형 트랜스포머와 MoE 아키텍처 전반에서 복제됩니다. Qwen만의 특징이 아닙니다. 학습 아티팩트가 아니라 수렴하는 솔루션으로 보입니다.
- 이 게시물은 이를 사피어-워프 가설(언어가 사고를 형성한다 → 아니오, 이 모델들에서는 아님)과 촘스키(보편적 심층 구조 → 예, 하지만 문법이 아니라 기하학임)와 연결합니다. 이런 너드한 주제를 좋아하신다면 토론이 마음에 드실 겁니다...
직접 플레이해 볼 수 있는 인터랙티브 PCA 시각화가 포함된 블로그: https://dnhkng.github.io/posts/sapir-whorf/
코드 및 데이터: https://github.com/dnhkng/RYS
RYS 관련해서는, 제로 VRAM 오버헤드 레이어 복제를 위한 ExLlamaV3 포인터 기반 형식에 대해 TurboDerp과 계속 이야기 중입니다. 정확한 일정은 없지만 진행 중입니다.
다시 말하지만, 위젯을 꼭 플레이해 보세요! 정말 멋지다고 장담합니다!
