다들 모델이랑 씨름하느라 정작 일은 못 하고 있는 거 아님?
Anyone else spending more time fighting the model than doing the actual work?
핵심 요약
Claude와 ChatGPT 사용 시 대화가 길어질수록 지시사항을 무시하는 '컨텍스트 드리프트' 현상에 대한 해결책을 공유합니다.
- 컨텍스트 드리프트 — 대화가 길어질수록 모델이 초기 지시사항을 잊고 일반적인 답변을 내놓음
- 해결 전략 — 대화창을 자주 새로 고치거나, 별도의 규칙 문서를 만들어 매번 붙여넣기함
- 외부 도구 활용 — 'Projects' 기능이나 외부 플러그인을 사용해 컨텍스트 유지력을 높임
- 근본적 한계 — LLM 구조상 대화가 길어질수록 초기 지시사항의 가중치가 낮아짐
Claude와 ChatGPT를 매일 사용하면서 고객을 위한 카피라이팅, 사례 연구, 랜딩 페이지 작성을 하고 있음. 그런데 한 가지 패턴을 발견했고 이게 사람 미치게 만듦.
처음 2~3번 반복할 때는 모델이 톤을 유지하고 내 요구사항을 기억해서 결과물이 괜찮음. 그런데 5~6번째 반복쯤 되면 드리프트(drift)가 시작됨: 톤은 일반적인 말투로 변하고, 내가 명시적으로 금지한 문구들이 나타나기 시작하고, 구조가 무너짐. 지적하면 모델은 사과하고 더 나은 버전을 내놓지만, 두 메시지 뒤에는 다시 똑같은 짓을 함.
그래서 결국 두 가지 선택지밖에 없음. 3~4 메시지마다 요구사항을 다시 붙여넣거나(이게 직접 쓰는 것보다 시간이 더 걸림), 아니면 반쯤 완성된 텍스트를 가져와서 직접 수정하는 것임.
컨텍스트 윈도우 제한 같은 문제라는 건 이해함. 하지만 다들 실제로 이 문제를 어떻게 처리하고 있는지 궁금함.

