공지: ChatGPT는 대화가 너무 길어졌다고 알려주지 않습니다. 그냥 조용히 앞부분을 잊어버릴 뿐입니다.

이거 때문에 내가 예전에 진짜 크게 한번 데였거든. 도대체 무슨 일이 벌어지는 건지 이해하기 전까지는 말이야.

모델에는 컨텍스트 윈도우라는 게 있는데, 이게 대화 내용을 얼마나 기억할 수 있는지 정해놓은 한계치거든. 근데 아무도 안 알려주는 사실이 하나 있어. 대화가 이 한계를 넘어가도 아무런 문제가 안 생겨. 에러 메시지도 없고, 경고도 안 떠. 그냥 제일 오래된 대화 내용부터 순서대로 기억에서 삭제되고, ChatGPT는 남은 내용만 가지고 아주 당당하게 답변을 이어가. 자기가 뭘 까먹었는지도 모르니까 너한테 말해줄 수도 없는 거지.

내가 겪었던 증상들을 순서대로 말해줄게:

처음에 이미 대답했던 걸 다시 물어봐. 대화 초반에 정했던 결정 사항이나 이름, 예산, 제약 조건 같은 걸 싹 무시하고 딴소리를 하면서 자기 말이 맞다고 우겨. 요약해달라고 하면 대화 내용의 앞부분 3분의 1은 아예 통째로 날아가 버려. 긴 대화 나누다가 이런 경험 다들 한 번씩 있지? 그게 바로 이 문제 때문이야.

내가 당했던 실수는 이거였어. 기획 회의 첫 시간에 가격 결정을 다 해놨는데, 세 시간쯤 지나니까 그 내용이 소리 소문 없이 사라진 거야. 결국 최종 계획서에는 엉뚱한 숫자가 적혀 있었지. 다른 사람이 지적하기 전까지는 나도 전혀 몰랐어.

공짜로 해결하는 방법은 2분이면 돼. 대화가 길어졌다 싶으면 이렇게 보내봐:

Summarize everything we decided in this conversation as a briefing for a new chat that has no memory of it. Include the goal, every decision made, the constraints, anything still open, and the exact wording of any final text we agreed on.

새 채팅창을 열고 방금 받은 요약본을 붙여넣은 다음 거기서 대화를 이어가면 돼. 중요한 내용은 하나도 안 놓치고 모델도 다시 쌩쌩해져. 증상이 나타나기 전에 미리미리 하는 게 좋아. 이미 증상이 나타났다는 건 초반부 디테일이 다 날아갔다는 뜻이니까.

언제 해야 할지 감 잡는 법은 이거야. 나는 내가 만든 브라우저 확장 프로그램인 AI Toolbox에 있는 대화창 점유율 게이지를 보거든. 솔직히 말해서 그 게이지도 아까 말한 가격 결정 사건 때문에 만든 거야. 그래도 사실 제일 중요한 건 요약하는 습관이지. 이건 뭐 따로 설치할 필요도 없잖아.

너희들도 이런 적 있어? 내 주변 사람들은 이 증상을 바로 알아채거나, 아니면 아예 이런 게 있는지도 모르거나 둘 중 하나더라고. 중간이 없어. 결국 일주일 내내 채팅창 붙잡고 사는 사람이랑 아닌 사람 차이인 것 같아.