Claude는 대화가 길어질수록 멍청해지나요, 아니면 저만 그런 건가요?

너만 그런 거 아님. 컨텍스트 윈도우가 대화 내용으로 꽉 차면 예전 내용이 밀려남. 한 번에 '볼 수 있는' 단어 수에 한계가 있어서 첫 메시지들이 기억에서 사라지는 거임.

난 보통 모델이 같은 말을 반복하거나 10개 메시지 전 내용을 까먹기 시작하면 새 대화를 시작함. 중요한 내용을 요약해서 새 대화에 붙여넣으면 처음부터 다시 설명할 필요 없어서 편함.

토큰 소모가 빨라지는 건 대화가 길어질수록 매번 처리해야 할 토큰이 많아지니까 한도에 더 빨리 도달하는 거임.

맞음, Claude는 메시지를 보낼 때마다 대화 전체를 다시 읽음. 그래서 긴 대화는 토큰 한도를 더 많이 잡아먹고, 대화 초반부 내용은 집중도가 떨어짐. Claude한테 지금까지 결정된 내용을 요약해달라고 해서 새 대화에 붙여넣으셈. Projects 기능을 쓰면 프로젝트 지침에 배경 정보를 넣어둘 수도 있음.

기존 대화에서 메시지를 보내면 대화 기록 전체가 모델에게 같이 전송됨. 즉, 과거 메시지들에 대해 입력 토큰을 소모하는 셈인데, 보통 캐시된 입력은 요금이 더 저렴하긴 함. 또한 대화 기록에 관련 없는 내용이 너무 많으면 모델에게 방해가 돼서 성능이 떨어지는 것처럼 보일 수 있음.

이전 맥락이 필요하면 한 대화창을 유지하고, 주제를 바꿀 때는 새 대화창을 여는 게 좋음.

컨텍스트 윈도우에 내용이 많을수록 모델은 환각을 일으키기 쉬움. 50% 정도 차면 눈에 띄게 나타남.

연구에 따르면 컨텍스트 윈도우의 시작과 끝이 가장 중요하고 중간 내용은 가끔 잊혀짐. 모델이 중간 부분은 컨텍스트 파악을 위해 대충 훑는다고 생각하면 됨.

윈도우 크기는 고정되어 있어서 결국 모델은 공간을 확보하려고 예전 내용을 요약해서 압축하는데, 그러다 보면 정보를 놓침.

이게 외부 메모리 제공업체들이 하는 일임. 중요한 정보를 데이터베이스에 저장했다가 언급될 때 다시 컨텍스트 윈도우에 넣어줘서 에이전트가 안 까먹게 하는 거임.

특정 응답을 위한 모든 데이터는 컨텍스트 윈도우 안에 들어가야 함. 모델은 그 외의 것은 아무것도 모름. 이 공간에는 시스템 프롬프트, 기술, 도구 정의 같은 것들도 포함됨.

그리고 매 턴마다 세션 전체 기록을 모델에 보내니까 대화가 길어질수록 토큰이 빨리 타버리는 게 맞음.

모든 AI가 다 그럼. 세부 정보가 너무 많으면 맥락을 놓치고 까먹음. 압축을 해도 정보는 누락됨. 대화 기록이 길어질수록 처리할 게 많아져서 토큰도 더 많이 잡아먹음. 더 많은 아이디어를 참조하는 복잡한 질문일수록 토큰이 더 빨리 소모됨.