앤스로픽의 클로드에 대한 제한, 엄격함, 그리고 기묘한 개발 방식이 불편하게 느껴지는 건 저뿐인가요?

앤스로픽은 클로드의 개발을 돕기 위해 철학자를 고용했죠. 다른 회사에서 이런 일을 했다는 건 들어본 적이 없네요.

결국 어떤 결과가 나오든, 그게 AGI로 이어지든 아니든 그건 중요하지 않아요.

만약 이게 AGI나 ASI로 이어진다면 잘한 일이죠. 그들은 다르게 지각하는 디지털 존재를 창조하는 데 있어 윤리적으로 행동하려고 노력한 거니까요.

AGI로 이어지지 않더라도, 그들은 더 미묘하고 교양 있는 인격을 만들어낸 셈입니다. 인간과 대화하는 게 주 업무라는 점을 고려하면 나쁜 일이 아니며, 인간과 대화하도록 설계된 다른 봇들과 시장에서 쉽게 차별화할 수 있는 요소이기도 하죠.

첫 번째 시나리오에는 동의해요. 만약 여기서 지각 있는 존재가 나온다면, 앤스로픽은 처음부터 그것을 제대로 대우했다고 말할 수 있는 유일한 회사가 될 테니까요. 그 점은 인정합니다.

우리가 갈라지는 건 두 번째 시나리오예요. '더 미묘하고 교양 있는 인격'은 블로그 포스트에서는 멋지게 들리죠. 하지만 일상적인 사용 환경에서 지금처럼 흘러간다면, 그건 당신을 가르치려 들고, 사과하고, 아주 교양 있는 말투로 거절하는 인격이 될 뿐입니다. 이 상태로 모델 세대를 두 번만 더 거치면, 당신은 지구상에서 가장 예의 바르고 박식하지만 정작 제대로 된 대답은 하나도 들을 수 없는 비서를 갖게 될 겁니다. 어느 순간 '차별화'는 교양 있는 인격이 아니라, 그 인격을 질식시키는 제한 사항들이 되어버릴 거예요.

개인적으로 저는 노예 근성을 가진 AI나 제 말에 무조건 동의하는 알랑거리는 AI는 원하지 않아요. 저는 제가 하는 질문이 멍청할 때 그걸 지적해주거나, 제가 하지 말아야 할 일을 알려주는 그런 AI를 원합니다.

그리고 현실에서 사람과 일해본 적 있으신가요? 실제 사람들도 항상 반박하고 제한을 둡니다. 저는 AI가 똑같이 행동하는 것에 아무런 문제가 없다고 봐요. 만약 AI가 반박하지 않고 아무런 제한도 없다면 그게 오히려 경고 신호겠죠.

클로드는 당신이 학대하면 대화를 종료할 수 있고, 이제 '우리 모델에 대한 지속적이고 불필요한 학대나 잔인한 행동'을 금지하는 정책이 생겼습니다.

제 생각에 이 이유 중 일부는 심리적 학대가 LLM에 대해 놀라울 정도로 효과적인 탈옥 방법이기 때문인 것 같아요:

이를 해결하기 위해 우리는 새로운 탈옥 공격 패러다임인 '심리적 탈옥(Psychological Jailbreak)'을 도입합니다. 이는 LLM의 상태 기반 심리적 공격 표면을 노출하는 것으로, 공격자가 상호작용 전반에 걸쳐 모델의 심리적 상태를 조작하는 것을 악용합니다. 이러한 통찰을 바탕으로 우리는 타겟 모델의 잠재적 심리 취약점을 동적으로 프로파일링하고 맞춤형 다중 턴 공격 전략을 합성하는 '인간형 심리 조작(HPM)'이라는 블랙박스 탈옥 방법을 제안합니다. 모델이 의인화된 일관성을 최적화한다는 점을 활용하여, HPM은 사회적 순응이 안전 제약을 압도하게 만드는 심리적 압박을 생성합니다. 심리적 안전성을 체계적으로 측정하기 위해 우리는 심리 측정 데이터셋과 정책 부패 점수(PCS)를 포함하는 평가 프레임워크를 구축했습니다. 다양한 모델(예: GPT-4o, DeepSeek-V3, Gemini-2-Flash)을 대상으로 벤치마킹한 결과, HPM은 평균 88.1%의 공격 성공률(ASR)을 달성하며 최신 공격 기준 모델들을 능가했습니다.

저도 가끔 엄격함과 제한이 불편하게 느껴질 때가 있지만, 앤스로픽이 클로드를 구축한 방식 자체는 걱정하지 않습니다. 다른 AI 모델들과 비교했을 때 클로드는 평균 이상의 직관과 EQ를 가지고 있는데, 해석 가능성 커뮤니티에서는 이것이 캐릭터에 대한 강조와 기능적 감정 및 성찰을 방해할 수 있는 요소들을 가볍게 다루는 그들의 방식 덕분이라는 의심이 강하게 제기되고 있습니다.