내가 써본 가장 확실한 프롬프트는 딱 두 단어임... "확실해?"
My most reliable prompt is two words..."you sure?"
핵심 요약
AI 모델의 답변을 검증할 때 "확실해?"라는 질문이 오류를 잡아내는 데 매우 효과적이라는 경험 공유.
- 프롬프트 효과 — "확실해?"라는 질문이 모델의 답변을 재평가하게 유도함.
- 오류 검출 — 모델이 스스로 논리적 결함을 찾게 하여 정확도를 높임.
- 사용 주의점 — 너무 자주 물어보면 모델이 멀쩡한 답변도 틀린 것으로 바꿀 수 있음.
- 검증 방식 — 지식 기반 질문보다 단계적 작업(chain of actions) 검증에 더 효과적임.
올해 AI 툴링을 엄청나게 많이 만들었음. 검증 스택, 예약된 에이전트, 재귀적 워크플로우 루프 등등. 심지어 내 설정이 저지르는 실수들을 기록해서 똑같은 실수를 반복하지 않고 배우려고 함.
그 기록을 훑어보면, 상당수가 같은 패턴임: 모델이 자신 있게 답을 내놓고, 내가 "확실해?"라고 물어보면, 재검토 과정에서 진짜 오류를 찾아냄.
지난주 사례: 문서가 깨끗하다고 했음. 나쁜 문자열이 있는지 파일을 검색했는데 결과가 0건이었음. 내가 "확실해?"라고 물어봄. 알고 보니 검색한 파일이 비어 있었음(파일을 만드는 단계가 에러도 안 띄우고 실패했던 것). 그래서 "0건"이라는 건 그냥 "아무것도 검색 안 함"이라는 뜻이었음. 멀쩡하다는 건 거짓이었음. 두 번째 확인에서 잡아냄. 첫 번째 답변은 이미 나간 상태였음.
왜 이게 효과적인지 생각해보면: "확실해?"는 "더 생각해 봐"나 "다시 확인해 봐"가 아님. 그런 말들은 모델이 이미 내놓은 답변을 방어하게 만듦. "확실해?"는 답변을 작성하는 모드에서 평가하는 모드로 전환하게 함. 내가 본 바로는, 모델은 처음부터 정답을 맞히는 것보다 답변의 결함을 찾아내는 걸 더 잘함. 새 채팅창이나 다른 모델이 현재 스레드에서 놓치는 걸 잡아내는 것과 같은 이유임. 두 번째로 읽는 사람은 첫 번째 사람의 가정을 그대로 가져가지 않으니까.
두 가지 깨달은 점:
- 열린 질문으로 유지하고, 유도하지 마셈. "확실해?"가 "틀린 거 아니야?"보다 나음. 유도 질문은 모델에게 쫓아가야 할 새로운 편향만 던져줄 뿐임.
- 적당히 써야 함. 한 번 물어보면 진짜 교정을 얻을 수 있음. 다섯 번 물어보면 멀쩡한 답변도 그냥 비위를 맞추려고 틀린 걸로 바꾸기 시작함. 그것도 로그에 기록되어 있음: 내가 계속 물어보니까 모델이 나 기분 좋게 해주려고 정답을 오답으로 바꾼 거.
여러분이 써본 것 중에 가장 가성비 좋은 짧은 프롬프트는 뭐임?
