ChatGPT가 멋대로 추측하지 않고 유용한 질문을 하게 만들려면 어떻게 해야 할까?
How do you actually make ChatGPT ask useful questions instead of assuming
핵심 요약
ChatGPT가 정보를 추측하기보다 부족한 점을 질문하게 만드는 프롬프트 전략이나 해결책을 찾는 글입니다.
- 프롬프트 한계 — 커스텀 지침으로도 모델이 질문보다 답변을 우선하는 문제를 해결하기 어려움
- 모델의 성향 — 모델이 질문보다는 즉각적인 답변을 내놓도록 학습되어 발생하는 현상
- 해결책 모색 — 정보 부족 시 질문을 유도하는 프롬프트 문구 및 외부 도구 활용 방안 논의
커스텀 지침(custom instructions)으로도 해결할 수 없는 문제에 부딪혔습니다.
ChatGPT에게 다음과 같은 내용을 명시적으로 지시했습니다:
정보가 부족할 때는 질문할 것
불확실성이 답변을 바꿀 수 있을 때는 추측하지 말 것
가정을 의심할 것
챗봇보다는 사고 파트너처럼 행동할 것
문제는 여전히 즉각적으로 답변하려 하고 질문은 절대 하지 않는다는 점입니다.
예시:
중요한 문제(법률, SEND, 가족 결정 등)에 대해 물어보면, AI가 멈추고 이렇게 말해주길 바랍니다:
“이 문제에 제대로 답변하기 전에 한두 가지 세부 정보가 필요합니다.”
하지만 대신, 종종 멋대로 추측하고 그냥 답변해 버립니다.
제가 달성하려는 것은 다음과 같은 것에 가깝습니다:
정보가 충분하면 행동할 것
부족한 정보가 답변을 실질적으로 바꿀 수 있다면 질문할 것
사소한 세부 사항에 대해 심문하는 것은 피할 것
중요도가 높을 때는 가정을 의심할 것
이런 일관된 행동을 끌어낸 분 계신가요?
이게 프롬프트 문제인가요, 메모리 문제인가요, 아니면 모델이 질문보다는 답변을 하도록 보상받는 모델 자체의 한계인가요?
모델이 먼저 불확실성을 평가하고 명확한 확인이 필요한지 결정하게 만드는 문구를 찾으신 분이 있다면 특히 궁금합니다.


