Claude가 자기도 모르게 코드를 작성하고 있다!

혹시 동시에 여러 대화창을 띄워놓고 작업 중인가요?

다른 에이전트가 작업했는데 메인 채팅이 그걸 요청했다는 사실을 잊어버리면 이런 일이 생길 수 있음. 내가 보기엔 채팅이 압축되거나 튕겼을 때, 혹은 대화창을 두 개 띄웠을 때 주로 발생함.

생각하는 도중에 방향을 틀어서 작업 A에서 B로 넘어가 버리는 습관이 있으면 이런 일이 생길 수 있음.

모델이 '나'라고 말할 때는 그 채팅창의 기억 범위 내에서만 말하는 거임.

해결책은 모델한테 코드를 검토하게 해서 이게 정상인지, 어떤 커밋에서 추가된 건지 확인하는 거임.

아, 그렇구나. 이해했음. 맞음, 대화가 몇 시간 동안 이어졌고 같은 대화창에서 여러 가지 작업을 시키긴 했음.

맞음. 내 짧고 불완전한 지식으로 대충 설명하자면, LLM은 메모리에 있는 토큰에 가중치를 두는데, 메모리에서 내용을 버리거나 가중치가 낮아지면 이런 일이 생김. 그래서 에이전트가 스타일 관련 '하우스 룰'을 까먹는 거임. 토큰 관련 확률이 낮아지니까. 나중에 정정해 줄 사람을 위해 미리 말하는데, 실제로는 훨씬 복잡하다는 거 나도 앎 :-)

컨텍스트가 썩으면 모델이 '까먹을' 수 있음. 나도 겪어봤는데, 미치는 줄 알았고 내 환경이 해킹당한 줄 알았음. Opus 5에서 확실히 더 자주 발생함. 그냥 세션 위로 스크롤 해서 파일별로 diff를 직접 확인하고, 이전에 했던 말을 다시 인용해 보셈. (새 세션을 시작하라는 신호이기도 함. 너무 길게 끌지 마셈)

"AI가 일자리를 뺏을 거다"는 개뿔.