Sonnet 5 - 세차 질문에서 광탈함
Sonnet 5 - It failed the Car wash question
핵심 요약
Claude Sonnet 5가 세차장에 차를 가져가야 한다는 상식을 놓치고 걷기를 추천하는 논리 오류를 보였습니다.
- 세차 퀴즈 실패 — 세차하러 가는데 기름을 아끼려고 걸어가야 하는지 묻는 함정 질문에 Sonnet 5가 오답을 냄.
- 노력 수준의 영향 — 'High effort' 설정에서만 정답을 맞히고 'Low'나 'Medium'에서는 대부분 틀리는 현상이 관찰됨.
- 재현 여부 논란 — 일부 사용자는 모든 설정에서 정답을 맞혔다고 보고하며 모델의 일관성 문제를 제기함.
- 논리적 허점 — AI가 세차장에는 차를 가져가야 한다는 기본 전제를 무시하고 이동 효율성만 계산하는 한계를 보임.
Sonnet 5의 노력 수준을 Low, Medium, High로 바꿔가며 이 세차 프롬프트를 여러 번 테스트해봤음.
그리고 High effort일 때만 항상 정답을 맞혔음. Low는 대부분 틀리고 Medium은 가끔씩만 맞힘.
그래서 Low나 Medium effort로 쓰는 건 별로 의미가 없는 듯.
