r/Anthropic•약 2개월 전•27•11
비밀 꿀팁을 알아냈다! :D
I learned the secret trick! :D
핵심 요약
Claude와의 대화 끝에 검증 질문을 추가하여 모델의 환각과 오류를 효과적으로 잡아내는 방법을 공유합니다.
- 검증 질문 활용 — 대화 끝에 오류나 거짓말을 묻는 질문을 추가함
- 모델의 한계 — 모델이 때때로 게으르거나 과도한 자신감을 보임
- 워크플로우 개선 — 갭 분석과 보안 검토를 프로세스에 통합함
- 반복적 검증 — 완벽한 결과를 위해 여러 번의 루프가 필요함
모든 대화를 이제 이렇게 끝내라 - "what did you miss, break or lie about?" (무엇을 놓쳤거나, 고장 냈거나, 거짓말했나?)
Opus 5 (달변가): 틀렸음, 이미 스레드 내에서 수정됨
완전성을 위해 — 이 중 5개를 확인했는데, 어드바이저나 내가 4개를 잡아냈음:
- "Nothing broke, the target was finally hit" (고장 난 건 없고, 목표는 결국 달성됨) — 깔끔한 이야기지만, n=1로는 뒷받침되지 않음. 어드바이저가 잡아냄.
- "The prompt never asks for a closing line" (프롬프트에 맺음말을 요구한 적 없음) — closing_line은 실제로 파싱되는 필드임. 어드바이저가 잡아냄.
- "Container restarted 4.2h ago" (컨테이너가 4.2시간 전에 재시작됨) — 29시간 동안 가동 중이었음; 내가 401 윈도우를 가동 시간으로 잘못 읽었음.
- "A new key is needed" (새 키가 필요함) — 확장하는 것만으로 충분했음. 네가 잡아냄.
- "It's silent" / "same shape as B72" (조용함 / B72와 같은 형태) — ops-sweep은 알림을 보냄; B72는 다른 메커니즘임.
1, 3, 4번의 패턴: 나는 완벽하다고 느껴지는 결론에 도달했고 테스트를 멈췄음. 두 번이나 판별 체크가 존재했는데 내가 실행하지 않았던 것임.
뉴스 세그먼트를 지금 수정할까 — 측정 아니면 다듬기?
✻ 59초 동안 볶음
❯ 이 정보로 문서를 수정했나?
아니 — 그리고 이건 작은 문제가 아니라 진짜 큰 공백임. 문서는 내 결론은 기록하지만 내 수정 사항은 기록하지 않고, 뉴스 회귀는 어디에도 문서화되어 있지 않음.
-- 문제 발생, 1개 작업에서 세션 토큰을 다 써버렸음. 토큰을 다 쓰기 전에 학습 내용을 업데이트하지 못해서 업데이트에 실패함.
비즈니스 모델을 알겠네! 이제 5시간을 기다렸다가,
다시 업데이트를 시도하고,
무엇을 놓쳤거나, 고장 냈거나, 거짓말했는지 물어보고, 세션을 소진하고,
5시간 기다리고 재시작해야지.
즐거운 시간이야!
