r/promptengineering•3개월 전•183•64
프롬프트를 같은 채팅창에서 실행하지 마세요
Don't run your prompts in the same chat
핵심 요약
모델의 오염을 방지하고 정확한 결과를 얻으려면 프롬프트 생성, 실행, 검증을 각각 다른 채팅창에서 수행해야 합니다.
- 모델 오염 방지 — 같은 채팅창에서 프롬프트를 실행하면 이전 문맥이 결과에 영향을 줌
- 채팅창 분리 전략 — 생성, 실행, QA를 각각 별도의 채팅창에서 수행하여 독립적인 환경 확보
- 왕과 왕자 비유 — 모델이 작업을 수행하는 대신 이전 문맥에 맞추려 하는 왜곡된 실행 방지
- 컨텍스트 최적화 — 에이전트 세션이 길어질수록 불필요한 문맥이 쌓이므로 주기적인 세션 초기화 필요
저는 AI 엔지니어로 꽤 오랫동안 일해왔습니다. 모델 학습 같은 것들을 하면서요. 지루한 일이죠.
사람들은 이 모델들이 단지 생성기일 뿐이라는 걸 이해해야 합니다. 모델은 실제로 생각하지 않습니다. 다만, 다음 답변을 개선하는 데 도움을 주는 GRPO라는 것을 가지고 있을 뿐이죠.
그래서 기본적으로, 프롬프트를 만든 채팅창에서 그대로 실행하면 모델의 주된 의무는 프롬프트를 정확하게 실행하는 것이 아니게 됩니다. 모델은 마치 왕자가 왕이 되도록 돕는 왕처럼 행동하게 되죠. 완전히 왜곡된 실행이 될 겁니다.
따라서 프롬프트를 실행하고 싶다면, 새 채팅창을 열어서 거기서 실행하세요. 그리고 프롬프트를 만들 때 썼던 채팅창을 다시 사용해서 QA 프롬프트를 요청하세요. 그런 다음 생성기 채팅창에서 나온 프롬프트 결과물을 복사해서, QA 프롬프트가 있는 새 QA 채팅창에 붙여넣고 실행하세요. 그러면 진정한 피드백을 얻을 수 있을 겁니다.
여기서 중요한 점은, 생성한 프롬프트를 같은 채팅창에서 실행하면 오염이 쏟아져 들어오기 때문에 모델이 작업을 제대로 완수해야 한다고 느끼지 않게 된다는 것입니다. 모델은 그저 작업을 마치 군주제 아래에 있는 것처럼 처리할 뿐입니다.
