새로운 Claude는 테스트에서 '자신 있게 틀린 답을 내놓는' 비율이 0%를 기록했습니다. 이를 활용해 중요한 작업의 정확도를 높이는 프롬프트를 소개합니다.
The new Claude scored 0% on "confidently reporting wrong answers" in testing. Here's a prompt that takes advantage of it on anything important.
핵심 요약
새로운 Claude의 향상된 자기 비판 능력을 활용하여 결과물의 신뢰성을 검증하는 프롬프트 활용법을 공유합니다.
- Claude 4.8 업데이트 — 자신 있게 틀린 답을 내놓는 현상이 획기적으로 개선됨
- 자기 비판 프롬프트 — 결과물의 약점과 불확실성을 모델 스스로 검토하게 함
- 협업 모델로의 전환 — AI가 단순히 답을 주는 도구에서 불확실성을 알려주는 협업자로 진화함
- 실전 검증 권장 — 벤치마크와 실제 사용 환경은 다르므로 도메인별 테스트가 필요함
Opus 4.8이 5월 28일에 출시되었습니다. 출력 결과의 신뢰도 측면에서 가장 중요한 변화는, 모델이 자신 있게 틀린 답을 내놓을 확률이 4배나 줄었다는 점입니다. Anthropic의 테스트에서 이 모델은 결함이 있는 결과를 무비판적으로 보고하는 비율이 0%를 기록했습니다.
이전 버전들은 그럴듯한 내용을 깔끔하게 생성해 냈고, 여러분은 나중에 실제로 사용하려 할 때야 비로소 문제를 발견하곤 했습니다. 하지만 이번 버전은 여러분이 시간을 쏟기 전에 스스로 불확실성을 표시하고 결함이 있는 논리에 대해 반론을 제기합니다.
이 프롬프트는 그러한 변화를 직접적으로 활용합니다. 중요한 작업에 의존하기 전에 이 프롬프트를 실행해 보세요:
방금 [위의 답변/계획/문서]를 생성했습니다. 이걸 사용하기 전에 비판적으로 검토해 주세요. - 가장 취약한 부분은 무엇인가요? - 타당하지 않을 수 있는 가정은 어디에 있나요? - 자신 있게 들리지만 실제로는 불확실한 내용이 있나요? - 제가 의존하기 전에 다시 확인해야 할 사항은 무엇인가요? 직접적으로 말해 주세요. 나중에 문제를 발견하는 것보다 지금 아는 편이 낫습니다. 이전 버전에서는 이 프롬프트를 쓰면 사소한 주의사항과 함께 안심시키는 답변이 나왔지만, 4.8 버전에서는 진정한 자기 비판이 나옵니다. 모델이 이제는 불확실한 부분을 얼버무리는 대신 실제로 표시하도록 조정되었기 때문입니다.
이것이 시사하는 더 큰 변화는, AI가 여러분이 일일이 검증해야 하는 자신만만한 출력물을 내놓는 도구에서, 자신이 무엇을 확신하지 못하는지 알려주는 협업자로 이동하고 있다는 점입니다. 이는 더 유용하고 신뢰할 수 있는 관계입니다.
새로운 Claude의 네 가지 변화와 각 변화를 활용할 수 있는 30가지 구체적인 프롬프트를 문서로 정리해 두었습니다. 도움이 되길 바라며 여기에서 확인하실 수 있습니다.
딱 하나만 해야 한다면, Claude가 마지막으로 생성한 중요한 작업물에 위 프롬프트를 실행해 보세요. 모델이 무엇을 지적하는지 확인하는 것이야말로 무엇이 바뀌었는지 체감할 수 있는 가장 확실한 방법입니다.
