Percepta의 새로운 아키텍처: Spotlight — 지능과 메모리를 분리하여 모델 가중치 변경 없이 지식과 기술 확장
New Architecture from Percepta: Spotlight — separating intelligence from memory, allowing knowledge and skills to grow without changing the model's weights.
핵심 요약
지능 모듈과 메모리를 분리해 모델 재학습 없이도 무한한 메모리 확장이 가능한 'Spotlight' 아키텍처에 대한 논의입니다.
- Spotlight 아키텍처 — 지능과 메모리를 분리하여 모델 가중치 수정 없이 지식과 기술을 확장함
- 무한 메모리 — 토큰당 일정한 비용으로 무제한 메모리 읽기 및 쓰기가 가능함
- 희소성 활용 — 고정된 전문가 세트를 사용하는 기존 방식과 달리 메모리 크기에 관계없이 희소성을 유지함
- 기술적 회의론 — 메모리 규모가 커질 때 검색 품질과 효율성이 유지될지에 대한 의문이 제기됨
https://www.percepta.ai/blog/can-llms-grow-their-own-capabilities
https://www.percepta.ai/blog/spotlight-memory
"우리가 새로 만든 아키텍처인 Spotlight는 기존의 트레이드오프를 완전히 박살 내는 메모리 방식으로 어텐션을 대체한다. 이게 뭐냐면, 액세스 비용을 늘리지 않으면서도 메모리를 무한대로 확장할 수 있는 최초의 아키텍처라는 거다. 모든 토큰이 무제한 메모리를 읽고 쓰지만, 모델이 개별 메모리 셀을 인덱싱하는 법을 배우기 때문에 각 토큰은 한 번에 아주 적은 양의 셀만 건드린다. 다른 희소(sparse) 아키텍처들은 단계마다 사용하는 용량 비율이 고정되어 있거든. 예를 들어 Mixture-of-experts 모델은 정해진 전문가들 중에서 항상 똑같은 수만 활성화하잖아? 근데 Spotlight는 그런 거 없이 완전히 자유롭게 희소성을 유지한다. 메모리가 아무리 커져도 건드리는 셀 개수는 똑같다는 소리다. 메모리 사용 비율은 우리가 원하는 만큼 얼마든지 줄일 수 있다."
Spotlight는 연산을 담당하는 지능 모듈과 지식, 절차, 작업 상태를 저장하는 메모리를 완전히 분리했다. 지능 모듈 크기는 그대로 유지되고, 메모리가 커진다고 해서 가중치가 변하지도 않는다. 메모리는 쓰기가 가능하고, 모델 스스로가 토큰 단위로 뭘 불러올지, 언제 덮어쓸지 결정한다. 메모리에 사실 정보뿐만 아니라 기술까지 저장할 수 있어서, 모델은 재학습 없이도 새로운 능력을 얻을 수 있다. 즉, 모델이 할 수 있는 일의 범위가 지능 모듈 크기에 갇히지 않는다는 거다."
