Claude가 포켓몬 메모를 정리하느라 17단계 동안 아무 행동도 안 함
Claude spent 17 steps reorganising its Pokémon notes without making a single move
핵심 요약
Claude가 게임 플레이 대신 메모 정리에 과도한 리소스를 낭비하는 현상에 대한 분석과 사용자 경험 공유.
- 메모리 관리 문제 — Claude가 게임 진행보다 파일 생성 및 삭제에 17단계를 허비함
- 모델별 차이 — Sonnet 3.7은 비효율적인 반면 Fable 5는 전략적 메모 활용으로 더 나은 성과를 냄
- 사용자 경험 공유 — 포켓몬 게임 중 과도한 문서화로 인한 토큰 소모와 게임 진행의 어려움 토로
앤스로픽이 11월 6일에 올린 메모리 관련 글 보니까 예전이랑 똑같은 삽질을 하고 있네.
포켓몬 레드 버전에서 10,000번째 스텝쯤 갔을 때, Sonnet 3.7 이 새끼는 게임 진행은 안 하고 메모리 파일 만들었다 지웠다만 17번을 반복함. 결국 폴더 225개에 파일 413개나 쌓아놓고 배지는 달랑 하나 땄더라.
반면에 Fable 5는 다른 세션에서 파일 10개만 딱 유지하면서 배지 4개나 땄음. 화면 보면 바로 알 수 있는 걸 굳이 계속 기록하는 대신, 나름 계획이랑 전략을 저장하면서 플레이한 거지.
이건 모델별로 딱 한 번씩 돌려본 거라, 메모리 삭제가 무조건 성능 향상으로 이어진다고 단정할 순 없음.
근데 솔직히 클로드한테 필요할 때마다 다시 확인하라고 하면 될 걸, 굳이 메모리에 왜 그렇게 꾸역꾸역 처박아두는 거냐?
https://www.anthropic.com/research/components-of-agent-memory


