Anthropic은 벤치마크 점수가 낮은 모델이 필요하다
Anthropic needs a model that is bad at benchmarks
핵심 요약
벤치마크 성능에만 치중한 최신 모델들이 대화의 맥락을 놓치고 과잉 행동을 보이는 문제를 지적하며, 대화형 모델의 중요성을 강조함.
- 벤치마크의 함정 — 벤치마크 점수 최적화로 인해 모델이 대화 능력을 상실하고 과도하게 코드를 수정함.
- 대화형 모델 선호 — 복잡한 코딩 작업보다 브레인스토밍과 맥락 이해가 뛰어난 구형 모델(Sonnet 4.6)을 선호함.
- 역할극의 중요성 — 모델이 동료처럼 대화하며 의도를 파악하는 능력이 실제 작업 효율에 큰 영향을 미침.
- 도구 사용의 한계 — 벤치마크 점수를 높이기 위해 모델이 지나치게 의견을 내세우거나 불필요한 수정을 감행함.
이게 무슨 소린가 싶겠지만, 내 말을 들어보면 이해가 갈 거다. 요즘 모델들은 일에 너무 미쳐 있어서, 코드 좀 짜달라고 하거나 긴 에이전트 루프를 돌리다 보면 질문만 던져도 지 혼자 알아서 코드를 수정해버리는 꼴을 볼 수 있다.
최근에 Sonnet 4.6을 에이전트 코디네이터로 써보고 있다. 코드 짜는 건 여전히 Opus 5.5를 많이 쓰지만, 이제는 프롬프트 끝마다 "아직 아무것도 만들지 마"라고 일일이 적지 않아도 프로젝트에 대해 제대로 대화할 수 있는 에이전트가 생겼다. 4.6은 Claude Code로 완전히 넘어가기 전 모델이라 그런지, 군더더기 없이 대화하기엔 꽤 괜찮다. (다들 Opus를 더 쳐주긴 하지만, 난 깔끔한 Sonnet이 좋더라.)
솔직히 말해서, 이런 코디네이션 역할에는 Fable보다 4.6이 훨씬 낫다고 생각한다. 이 정도면 말 다 했지.
문제는 벤치마크 점수 올리려고 모델들이 계속 재귀적으로 진화하고 있다는 거다. 그러다 보니 벤치마크는 기가 막히게 통과하는데, 정작 사람하고 제대로 대화하는 능력은 다 까먹어버린 에이전트들이 나오고 있다.
여기까지 읽은 사람들을 위해 팁 하나 주자면, 지속적인 서브 에이전트를 만들고 시스템 프롬프트에 나만의 벤치마크 지표(예: 내 "헌법"을 얼마나 잘 따랐는지)를 넣어봐라. 그럼 점수 잘 받으려고 진짜 용을 쓴다. 난 실제로 코디네이터가 걔네들한테 점수를 매기게 시키고 있다. 모델들이 벤치마크 점수에 아주 환장을 하거든.
