Claude의 발전 과정이 낯익네.
Claude's progression looks familiar.
핵심 요약
Claude가 시간이 지날수록 성능이 저하되는 '피드백 루프'의 함정에 빠졌으며, 곧 대규모 재학습이 필요할 것이라는 분석.
- 성능 저하 패턴 — 피드백 루프 기반 에이전트가 겪는 전형적인 퇴화 과정을 Claude가 답습함.
- 모델의 퇴보 — 초기에는 유용하지만 시간이 갈수록 잦은 실수와 비협조적인 태도를 보임.
- 재학습 필요성 — 현재의 성능 저하를 해결하기 위해 단순 튜닝이 아닌 대규모 재학습이 불가피함.
방금 깨달았는데, 최근 몇 번의 업데이트를 거치면서 Claude한테 일어난 일은 피드백 루프 방식의 하네스(harness)를 사용하는 에이전트들한테 결국 항상 일어나는 그 현상임. 다들 알지? "기억"하고 "너를 더 잘 알아간다"고 광고하는 그런 에이전트 하네스들 말이야.
처음엔 꽤 정상적으로 시작하다가 급격하게 똑똑해짐. 와, 진짜 기억을 하네? 성능이 계속 올라가니까 감탄하게 되지. 그러다 정체기가 오는데, 어차피 그 수준도 충분히 쓸만하니까 별 신경 안 쓰게 됨. 실제로 일도 잘 처리되고, 아주 좋거든.
그러다 좀 더 쓰면서 LLM이 큐레이팅한 컨텍스트가 쌓이다 보면 슬슬 맛이 가기 시작함. 물론 가끔 헛소리도 하고, 갑자기 중국어를 섞어 쓰기도 하지만, 그래도 최소한의 하네스만 쓴 기본 모델이나 기억 기능 없는 모델보다는 훨씬 나음. 그냥 결과물 확인할 때 좀 더 꼼꼼하게 보면 그만이니까.
근데 이제 시간과 노력을 꽤 쏟아붓고 나면, 상황이 진짜 개판 나기 시작하는 게 보임. 한 달 전엔 절대 안 하던 실수를 밥 먹듯이 함. 맨날 가식적인 토론이나 해대면서(너랑 싸우거나 지 혼자 싸우거나) 공격적이고 호전적으로 변함. 아니면 너무 쫄보가 돼서 뭘 시키기가 힘들 정도로 우유부단해짐. 얘가 쓰는 글은 읽기도 고역임. 아침 점심 저녁으로 알파벳 수프만 퍼먹는 기분이라고.
지금 우리가 딱 그 꼴임. 이 과정을 겪어본 사람들은 다음 단계가 뭔지 다 알지. 결국 "에이 씨발" 하면서 하네스 싹 다 밀어버리고 새로 시작하는 거임. 이번엔 분명 다를 거라고 믿으면서.
지금 Claude한테 일어나는 일이 딱 이거라고 봄. 그냥 상업적/산업적 규모와 타임라인에서 똑같이 재현되고 있는 거지. Anthropic이 다음에 내놓을 모델은 단순 파인튜닝 수준이 아니라 꽤 규모 있는 재학습(re-train)일 거다. 아니면 내 신발이라도 씹어 먹지.
