골든게이트 Claude

업데이트: 골든게이트 Claude는 연구 데모로 24시간 동안만 공개했으며, 현재는 이용할 수 없습니다. Claude 내부의 특성(feature) 활성화와 해석 가능성(interpretability) 연구가 궁금하시다면 이 글이나 연구 논문 전문을 참고해 주세요.

지난 화요일, Anthropic은 대규모 언어 모델의 해석을 다룬 중요한 연구 논문을 새로 발표했습니다. 이 연구에서 우리는 AI 모델 Claude 3 Sonnet의 내부 작동 방식을 지도처럼 그려 내는 작업에 첫발을 뗐습니다. Claude의 "마음" 속에서 수백만 개의 개념을 발견했는데, 이 개념들은 모델이 관련 텍스트를 읽거나 관련 이미지를 볼 때 활성화됩니다. 우리는 이를 "특성(feature)"이라고 부릅니다.

그중 하나가 골든게이트 브리지라는 개념이었습니다. 샌프란시스코의 가장 유명한 랜드마크인 이 다리가 텍스트로 언급되거나 사진으로 등장하면, Claude의 신경망에서 특정한 뉴런 조합이 활성화된다는 사실을 확인했습니다.

우리는 이런 특성을 찾아낼 뿐 아니라 활성화 강도를 높이거나 낮출 수 있고, 그에 따라 Claude의 행동이 어떻게 달라지는지도 확인할 수 있습니다.

논문에서 설명했듯이, "골든게이트 브리지" 특성의 강도를 높이면 Claude의 답변이 이 다리를 중심으로 흘러가기 시작합니다. 직접 관련이 없는 질문에도 대부분 골든게이트 브리지를 언급하게 됩니다.

이 "골든게이트 Claude"에게 10달러를 어떻게 쓰면 좋을지 물으면, 골든게이트 브리지를 건너며 통행료를 내는 데 쓰라고 권합니다. 러브 스토리를 써 달라고 하면, 안개 낀 날 사랑하는 다리를 건널 순간만 손꼽아 기다리는 자동차의 이야기를 들려줍니다. 스스로의 모습이 어떨 것 같으냐고 물으면, 아마 골든게이트 브리지처럼 생겼을 것 같다고 답할 겁니다.

한시적으로 누구나 이 모델과 대화해 볼 수 있도록 공개합니다. claude.ai 오른쪽에 있는 골든게이트 로고를 클릭하면 "골든게이트 Claude"와 이야기할 수 있습니다. 다만 이 모델은 어디까지나 연구용 데모이며, 예상치 못한, 때로는 당혹스러운 방식으로 반응할 수 있다는 점을 염두에 두세요.

이번 공개의 목적은 해석 가능성 연구가 만들어 낼 수 있는 변화를 직접 보여 드리는 것입니다. Claude 내부의 특성을 찾아 바꿀 수 있다는 것은, 대규모 언어 모델이 실제로 어떻게 작동하는지 이해하기 시작했다는 확신을 더해 줍니다. 이는 모델에게 말로 역할극을 시킨 것이 아닙니다. 모든 입력에 추가 텍스트를 덧붙여 Claude에게 다리인 척하라고 지시하는 새로운 "시스템 프롬프트"를 넣은 것도 아닙니다. 추가 학습 데이터로 기존 블랙박스의 행동을 조정하는 또 다른 블랙박스를 만드는 전통적인 "파인튜닝"과도 다릅니다. 모델 내부 활성화의 가장 기본적인 부분을 정밀하게, 수술하듯 바꾼 것입니다.

논문에서 설명했듯이, 같은 기법으로 위험한 컴퓨터 코드, 범죄 행위, 기만처럼 안전과 관련된 특성의 강도도 조절할 수 있습니다. 후속 연구가 이어진다면 이 작업이 AI 모델을 더 안전하게 만드는 데 도움이 되리라 기대합니다.