Haiku 5.5, Sonnet 5.5, Opus 5.5를 서브 에이전트로 6가지 실제 작업에 테스트해 봄

정말 멋진 테스트네요. 공유해주셔서 감사합니다. 접근 방식이 아주 마음에 듭니다.

저도 연구나 코드 빌드 과정에서 Sonnet과 Opus를 비교해 본 적이 있습니다. 예를 들어 같은 사양으로 작은 앱을 10번 빌드해 보거나, 다양한 노력 수준(effort levels)을 적용해 보는 식이었죠.

지금 당장은 일화적인 증거밖에 없지만, 참고가 될까 해서 말씀드립니다. 코딩 시 발생하는 오류나 작은 실수(UI 요소를 어색하게 배치하거나 겹치게 함, 플로팅 컴포넌트 연결 누락 등)는 작성자님의 결과와 비슷했습니다. Opus 4.8은 실수가 거의 없거나 가끔 있었고, Sonnet은 1~5개 정도 실수를 하더군요. 작성자님의 데이터만큼 유용하진 않지만 비슷한 경향을 보였습니다. 저는 자동화된 워크플로우나 오케스트레이션 환경에서 비교한 건 아니었습니다.

닫힌 루프(closed loop)의 강제 테스트, 반복 재시도, 검토 등이 포함된 자동화 워크플로우에서 실행되는 Sonnet 5는 완전히 다릅니다. Sonnet 5로 750M 토큰 규모의 작업을 완료했는데, 빌드된 CLI 앱이 예상대로 작동했습니다. 물론 제가 말도 안 되는 수준의 판단 패널과 검증 절차 등을 추가하긴 했지만요.

연구 작업은 특징짓기가 더 어렵더군요. 저는 항상 대학원 수준의 물리학과 수학으로 비교했기 때문에, 코딩 작업보다 Sonnet/Opus 4.8 간의 차이가 더 두드러졌습니다. 최신 Sonnet과는 아직 비교해 보지 못했네요.

노력 수준(effort levels)은 어느 정도로 설정하셨나요?

높음(High)

Haiku를 xhigh(매우 높음)로 설정해서 같은 테스트를 돌려보면 흥미로울 것 같네요. AA(Claude Code)는 high에서 xhigh로 갈 때 성능이 꽤 크게 점프하거든요.

저는 모든 작업을 Claude Code 안에서 합니다. 그래서 '코드 검색'이라고 한 건 단순히 텍스트를 찾는 게 아니라, 새로운 기능을 위해 변경해야 할 모든 파일을 찾는 등 Claude Code가 필요로 하는 정보를 찾는 것을 의미합니다.