분산 표현: 합성과 중첩

초록

분산 표현(distributed representation)은 신경과학과 연결주의 AI 양쪽 모두에서 오랜 역사를 지닌 개념입니다. 우리 연구팀은 중첩(superposition)에 관한 연구가 분산 표현과 어떤 관계인지 자주 질문을 받곤 합니다. 중첩에 대한 최초 논문을 발표한 이후, 두 주제 사이의 관계를 더 깊이 고민하고 여러 사람과 논의할 시간이 있었습니다. 이번 글에서는 관련 연구 섹션의 기존 논의를 확장하여 몇 가지 생각을 나누고자 합니다. (우리가 중첩과 분산 표현의 구조에 깊은 관심을 갖는 이유는, 표현을 독립적인 구성 요소로 분해하는 작업이 차원의 저주를 극복하고 신경망을 이해하는 데 필수적이기 때문입니다.)

우리가 보기에 "분산 표현"이라는 개념에는 서로 다른 두 가지 아이디어가 담겨 있으며, 이를 각각 "합성(composition)"과 "중첩(superposition)"이라 부르겠습니다. 1 이 두 가지 분산 표현 개념은 일반화 능력과 선형 연산으로 계산할 수 있는 함수의 범위 측면에서 매우 다른 특성을 보입니다. 하나의 표현이 두 가지를 동시에 활용할 수도 있지만, 양자 사이에는 근본적인 트레이드오프가 존재합니다! 2

이를 구체적으로 살펴보기 위해, 뉴런이 다양한 색상의 도형을 표현하는 몇 가지 가능한 방식을 검토해 보겠습니다. 여기서 사용하는 예시는 Thorpe (1989)에서 가져온 것으로, 신경과학에서 "국소 코드(local code)"와 "분산 코드(distributed code)" 사이에 존재하는 다양한 가능성을 보여주기 위해 고안된 것입니다. Thorpe는 "국소(local)", "준국소(semi-local)", "준분산(semi-distributed)", "고분산(high-distributed)"이라는 네 가지 코드 예시를 제시합니다. 전통적으로 이 네 가지는 "국소"에서 "분산"까지 하나의 스펙트럼 위에 놓인 것으로 이해되어 왔습니다. 이 글에서는 같은 예시를 다시 살펴보되, 중첩과 합성이라는 두 개의 서로 다른 축을 기준으로 예시들이 변화하는 대안적 관점을 제시합니다.

Thorpe의 접근을 따라, 이 글에서는 뉴런의 활성화가 이진값인 경우에 초점을 맞춥니다. 이렇게 하면 가능한 경우의 수가 크게 줄어들지만, 흥미로운 질문을 던지기에는 충분히 풍부한 공간이 됩니다.