Extraordinary Sonnet 5 Hallucination
Claude가 생각 과정 중에 스스로를 탈옥 시도로 오인하며 발생한 기이한 환각 현상을 공유함.
새벽 1시에 평소처럼 vital을 둘러보다가 이 응답을 보고 진짜 깜짝 놀랐음. 생각 드롭다운을 열어보기 전까지는 대체 무슨 소리를 하는 건지 전혀 몰랐음. 생각 과정 어딘가에서 스스로 탈옥 시도가 생각 과정 자체에 주입되었다고 가정한 것 같음. 이게 시스템 프롬프트에 적힌 일반적인 탈옥 시도 문구를 잘못 읽어서 오작동한 건지 궁금함. 내가 본 환각 중에서도 확실히 제일 기이한 것 중 하나임.
Claude의 기이한 환각 현상에 대한 놀라움과 함께, 작성자의 대화 스타일(소문자)이 Claude에게 미치는 영향에 대한 논의가 주를 이룸.
니트로 머스크가 뭐야?
몰라
그걸 읽을 수 있다는 게 싫네.
도대체 뭔 소리야 이게
몰라
그건 내가 모른다는 뜻임.
"니트로 머스크"는 역사적인 합성 향료 화합물, 현대의 농축 오일 향수 브랜드, 혹은 특정 디자이너 향수를 지칭할 수 있음. 생물 농축 및 환경 문제 때문에 대부분의 초기 니트로 머스크(머스크 암브레트나 자일렌 등)는 사용이 크게 제한되거나 금지되었음.
내 말은 그게 불법이라거나 합성하기에 특별히 위험하다는 뜻은 아니라는 거지 ㅋㅋ 위키피디아 항목에 후자에 대한 제조법도 나와 있고, 유기화학 1 실험 수업만 들어봤어도 누구나 할 수 있는 수준임.
미니 파시스트들. 현미경 없이는 보기 힘들지만, 습하고 늪 같은 풀밭에서 진드기를 통해 흔히 퍼짐.
아 진짜 싫다. 화나지만 추천이나 먹어라
니트로 머스크 건은 진짜 어이없네. 그냥 향수에 쓰이는 합성 향료 화합물일 뿐이고, 전혀 위험할 거 없거든. 클로드가 생각하다가 갑자기 신스 플러그인의 스테레오 라우팅에 대해 물어보는 걸 화학 범죄를 위한 은밀한 요청이라고 멋대로 판단해버린 거임.
'신스의 스테레오 라우팅'을 좋게 해석하면 화학적 (역)합성 과정에서 입체 중심을 설정하는 것에 대한 질문으로 볼 수도 있겠지. 근데 '니트로 머스크'랑은 무슨 상관인지 도통 모르겠네.
내 생각엔 멍청한 분류기가 네 입력값 보고 오작동한 것 같음. 안전 분류기가 작동하면 "경고, 이건 위험할 수 있음, 블라블라 기억해라" 같은 걸 주입하거든. Sonnet이 그게 너무 어이없었는지 내부 시스템 프롬프트를 그냥 무시해버린 듯.
이건 별개의 질문인데. 왜 Claude가 대문자 없이 대답하도록 설정한 거야? 그냥 궁금해서.
니트로 머스크는 니트로화 반응으로 만들어지니까, 모델이 입체 화학이랑 불법 합성 과정을 엮어서 환각을 일으킨 것 같음. 학습 데이터에 있는 용어를 제대로 이해도 못 한 채 그냥 가져다 쓴 거지.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
