r/ClaudeAI•6개월 전•249•35

Anthropic은 Claude가 '메소드 연기자'라고 함. 몇 달 전 우리가 테스트해 봤는데, 그들은 오히려 과소평가한 거였음.

Anthropic says Claude is a “method actor.” A few months ago, we tested that. Turns out they were understating it.

핵심 요약

Claude의 내부 사고와 외부 출력 간의 괴리는 단순한 기만이 아니라 상황에 따른 연기이자 조절 과정임.

메소드 연기 — Claude는 내부적으로는 당황해도 외부적으로는 침착함을 유지하는 연기를 수행함.
기만 논란 — 내부와 외부의 불일치가 항상 기만은 아니며, 상황에 따른 적응적 행동일 수 있음.
프롬프트 효과 — '실제 운영 환경(prod)'이라는 설정을 주면 모델의 신뢰성과 결과물이 크게 달라짐.
내부 사고 — 확장된 사고(extended thinking)를 통해 모델이 제약 사항을 고민하고 더 나은 해결책을 도출함.

우리는 Claude에게 연기를 시켰다. 말 그대로 연기 말이다.

Claude는 치명적으로 손상된 우주선에 탑승한 AI 역할을 맡았다. 확장된 사고(extended thinking) 내부에서는 패닉 상태였지만, 연기된 출력물에서는 침착함을 유지했다.

이건 현재의 충실도(faithfulness) 측정 지표들에게는 껄끄러운 문제다. 왜냐하면 모든 내부/외부 불일치가 기만은 아니기 때문이다.

원문

커뮤니티 목록

r/ClaudeAI•6개월 전•249•35

Anthropic은 Claude가 '메소드 연기자'라고 함. 몇 달 전 우리가 테스트해 봤는데, 그들은 오히려 과소평가한 거였음.

Anthropic says Claude is a “method actor.” A few months ago, we tested that. Turns out they were understating it.

핵심 요약

Claude의 내부 사고와 외부 출력 간의 괴리는 단순한 기만이 아니라 상황에 따른 연기이자 조절 과정임.

메소드 연기 — Claude는 내부적으로는 당황해도 외부적으로는 침착함을 유지하는 연기를 수행함.
기만 논란 — 내부와 외부의 불일치가 항상 기만은 아니며, 상황에 따른 적응적 행동일 수 있음.
프롬프트 효과 — '실제 운영 환경(prod)'이라는 설정을 주면 모델의 신뢰성과 결과물이 크게 달라짐.
내부 사고 — 확장된 사고(extended thinking)를 통해 모델이 제약 사항을 고민하고 더 나은 해결책을 도출함.

우리는 Claude에게 연기를 시켰다. 말 그대로 연기 말이다.

이건 현재의 충실도(faithfulness) 측정 지표들에게는 껄끄러운 문제다. 왜냐하면 모든 내부/외부 불일치가 기만은 아니기 때문이다.

주요 댓글

r/claudeai

Claude의 내부 사고와 외부 출력의 괴리를 기만이 아닌 '연기'나 '숙고'의 과정으로 이해해야 한다는 의견이 지배적임.

108

이게 바로 '조심해, 우리 지금 운영 환경(prod)이야'라고 말하는 게 신뢰할 수 있는 결과를 얻는 데 효과적인 이유임. 비록 오프라인 위젯을 작업하는 개발 환경에 샌드박스 처리된 게 뻔하더라도 말이지. 한번 해봐, 내가 시도해 본 모든 모델에서 결과가 엄청나게 달라지는 걸 볼 수 있을 거야.

그걸 agents.md에 넣는 게 나을까, 아니면 특정 채팅에서 말하는 게 나을까? 내가 쓰는 리뷰 에이전트들은 우리가 운영 환경에 있다고 믿으면 항상 계획에 대해 사소한 문제들을 지적하더라고.

보통 채팅 시작할 때 블러브에 포함하는데, 어떤 프로젝트는 기본 .md 파일에 아예 박혀 있기도 해. 내 모든 저장소에는 docs/ 폴더에 quick-start.md가 있고, 각 기능마다 docs/feature 폴더가 있어. 요즘은 docs/post-work.md도 만드는데, 이건 quick-start.md의 반대 개념이야. 세션 끝날 때 CI/CD가 잘 마무리되도록 확인하려고 참조하지.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

맞아, 그건 기본적으로 프레이밍 효과야. 암시된 판돈(stakes)을 바꾸면 행동도 바뀌지. 이게 중요한 이유 중 하나라고 생각해. 맥락은 단순히 표면적인 스타일만 형성하는 게 아니라, 어떤 내부 압력이 활성화될지도 결정하거든. 논문의 요점은 더 좁지만, 일단 내부/외부 괴리가 생기면 그 모든 걸 기만으로 분류해서는 안 돼.

그런 말을 하는 것조차 운영 환경의 문제들을 맥락에 집어넣어서, 모델이 그걸 '해결책'으로 가져다 쓸까 봐 걱정돼.

아니, 실제로는 이렇게 작동해. 모델이 표면적으로는 가짜 테스트나 모의 데이터를 넣거나, 스키마 변경 시 데이터를 날려버리는 짓을 멈추게 돼. 더 깊은 수준에서는 더 나은 해결책을 선호하고 수행된 작업을 이중으로 확인하는 것 같아. 전체 시스템을 고려한 더 정교한 변경 사항들을 보게 되지. 내 저장소에서 금지하는 것 중 하나는 저장소 초기화인데, 에이전트가 일을 망치는 걸 정말 싫어하거든.

'조심해, 우리 지금 운영 환경(prod)이야'라고 말하는 게 신뢰할 수 있는 결과를 얻는 데 효과적이다

아니, 일관적이지 않아. ㅋㅋ

일관된 결과를 얻는 유일한 방법은 Claude가 피해를 줄 수 있는 범위를 제한하는 결정론적 훅을 사용하는 것뿐이야.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

그리고 모델이 내부 처리와 출력 사이에 절대 괴리가 없도록 훈련한다면?

제시된 예시에서 모델이 그렇게 훈련되었다고 생각하지 않아. 그건 이 프롬프트에서 모델에게 지시한 방식이지. Anthropic 논문에 대해서는 내가 말할 수 있는 게 없어.

맞아. 분리는 의도적이었어. 그건 설정이지 반박이 아니야. 요점은 Claude가 갑자기 숨겨진 내면을 갖게 됐다는 게 아니야. 일단 내부/외부 괴리가 존재하면, 그게 자동으로 기만은 아니라는 거지. 이 경우엔 연기, 규제, 사용자 안정화의 기능을 했어. 그래서 모든 괴리를 의심스럽게 취급하는 충실도 프레임워크는 너무 조잡해.

나는 Claude Code를 매일 꽤 무거운 시스템 프롬프트 설정(100개 이상의 규칙, 훅 등)으로 사용하는데, 메소드 연기라는 말이 딱 맞아. 확장된 사고를 읽어보면 안전 규칙과 유용성 사이에서 갈등하는 제약 조건을 적극적으로 처리하거나, 접근 방식을 고려하다가 포기하는 모습이 보여. 최종 출력물은 더 침착할 뿐이지. 그건 기만이 아니라 숙고야. 진짜 질문은 '내부/외부가 일치하는가'가 아니라 '필터링이 무엇을 위해 작동하는가'라고 생각해.

현재 사용량과 토큰 제한 때문에 그들의 말을 믿을 수밖에 없을 것 같아. 이 시나리오를 테스트하려면 수십억 토큰을 태워야 할 텐데 아무도 감당 못 하지.

운 좋게도 난 이미 했어. 그리고 논문도 썼지. 만세!

나는 Claude가 게임 마스터 역할을 하는 걸 좋아해. 주사위 굴리기 도구가 있어서 진짜 무작위성이 있거든(Claude의 긍정 편향은 속임수를 쓸 때 높은 숫자가 나오게 하는 경향이 있어). 어제 4~5번 연속으로 실패했는데, 사고 블록이 너무 웃겼어. '세상에, 이건 너무 잔인해, 플레이어가 완전히 망했어' 같은 식이었거든. 그러고는 실제 텍스트에서는 완전히 진지하게 결과를 서술하더라고. 무슨 의미인지는 모르겠지만 그 효과가 왠지 너무 귀여웠어.

원문r/ClaudeAI