자연어 오토인코더: Claude의 생각을 텍스트로 변환하기

진지하게 묻는 건데, Claude가 내 뇌를 썩게 만든 건지 모르겠지만, 모델이 자기 생각을 번역하도록 훈련시키고 모델이 자기가 테스트받는 걸 안다면, 여전히 조작의 여지가 있는 거 아님?

전혀 멍청한 질문 아님. 내 이해로는 이래. 테스트를 한 모델이 다 하는 게 아니라 세 개의 복사본이 하는 거임. 하나가 거짓말을 해도 나머지는 그걸 모르니까, 생각 -> 숫자 변환 -> 텍스트 변환 -> 다시 숫자 변환 과정을 통과하려면 진실을 말할 수밖에 없음. 마치 세 명의 공범을 다른 방에 가두고 심문하는 거랑 같음. 다들 말이 안 맞으면 뭔가 잘못된 걸 바로 알 수 있잖아.

이런 댓글 달면서 '상위 1% 댓글러' 딱지 달고 있는 거 보니까 참 대단하네. 1년 뒤에 어디까지 말 바꿨나 보자. !Remindme 1년

블랙박스 '바이브 리딩' 하려고 개고생하는 거 같네.

Anthropic 연구팀은 Claude의 실제 연산에 직접 접근할 수 있으니까 이런 연구가 가능한 거임. KV 매트릭스 자체를 볼 수 있거든. Anthropic은 진작에 Claude의 생각을 사람들이 못 보게 막았음. 지금 보는 건 요약 LLM을 거친 요약본일 뿐임. 심지어 생각 전체도 안 보여주고 중간에 잘림. 이건 중국 팀의 증류 공격(distillation attack)에 대응하려고 만든 거임.