r/LocalLLaMA•5개월 전•39•26
학습 없이 MoE 모델의 전문가 라우팅을 조절해 새로운 지식을 주입하는 방법 발견
Accidentally discovered you can teach frozen MoE models new knowledge by just steering their expert routing — no training needed
핵심 요약
MoE 모델의 전문가 라우팅을 제어하여 가중치 수정 없이 새로운 지식을 학습시키는 'ACI' 기법이 공개되어 커뮤니티의 주목을 받고 있습니다.
- ACI 기법 — MoE 모델의 전문가 라우팅을 제어해 가중치 수정 없이 지식 주입함.
- 성능 검증 — Gemma 4 26B 모델에서 154KB 파일로 사실 관계 오류를 수정함.
- 기술적 의문 — RAG와 유사한 방식인지, 실제 작동 원리에 대한 커뮤니티의 회의적 시각 존재함.
- 오픈 소스 — GitHub를 통해 공개되었으며 초기 알파 단계로 피드백을 받는 중임.
Gemma 4의 MoE 라우팅 패턴을 호기심에 조사하다가 모델이 무언가를 "알고" 있을 때와 아닐 때 전문가 라우팅이 다르게 작동한다는 이상한 점을 발견했습니다.
그래서 그 차이를 기록하고 재현했습니다. 이를 적응형 인지 지능(Adaptive Cognitive Intelligence, ACI)이라고 불렀습니다.
결과: 154KB 파일 하나로 Gemma 4가 "Starfield는 PS5에서 사용할 수 없습니다"(181단어, 자신감 있게 틀림) → "Starfield는 2026년 4월 DualSense 햅틱 기능을 지원하며 PS5로 출시되었습니다"(31단어, 정답)로 바뀌었습니다.
가중치 수정 없음. LoRA 없음. RAG 없음. 그냥 라우팅만 했습니다.
pip install mnemic-mre
GitHub: https://github.com/vignesan/mnemic-mre
초기 알파 단계입니다. 1인 개발이며 지금까지 주로 Gemma 4 26B에서 테스트했습니다. 피드백 환영합니다.
