Opus 5.5를 저렴한 코딩 서브에이전트로 최적화하려 했으나, 오히려 성능은 떨어지고 비용만 더 들었습니다
I tried to make Opus 5.5 cheaper with a cheap coding subagent, but It got worse and more expensive
핵심 요약
AI 에이전트 팀 구성으로 비용 절감을 시도했으나, 단일 모델을 사용하는 것보다 성능이 낮고 비용 효율성도 떨어짐이 확인되었습니다.
- 성능 비교 — Opus 단일 모델이 서브에이전트 조합보다 높은 해결률을 기록함
- 비용 문제 — 컨텍스트 재작성 및 대기 시간으로 인해 오히려 비용이 증가함
- 워크플로우 한계 — 계획 단계가 뛰어나도 실무 모델의 역량이 부족하면 해결이 불가능함
- 대안적 접근 — 저렴한 모델로 기초 작업을 수행하고 Claude로 마무리하는 방식이 더 효율적임
세 줄 요약: 12개의 고난도 코딩 작업에서 Opus 단독 모델이 작업당 $1.20의 비용으로 81%를 해결함. Opus + DeepSeek V4.1 Flash 조합은 작업당 $1.29에 67% 해결. 7가지 팀 구성(41개 설정, 약 1,200회 실행)을 테스트해 봤는데, Opus 단독 모델을 이기는 조합은 없었고 대부분 비용만 더 나옴.
이 짓을 왜 했냐고? Opus가 성능은 지리는데 너무 비싸거든. 그래서 두 가지를 노렸음. 가격은 별 차이 없는데 Opus보다 성능 좋은 팀을 만들거나, 아니면 Opus랑 성능은 비슷한데 훨씬 싼 조합을 찾는 거였지. 그래서 Opus한테 계획 짜고 검토하라고 시키고, 싼 모델들한테 코딩을 맡겨봤음.
작업 내용: 예전에는 내 에이전트 세션에서 따온 작은 벤치마크를 썼는데, 너무 쉬워서 이번엔 좀 빡센 걸로 골랐음. TB4, DeepSWE, SWE-rebench, SWE-bench Pro V2, Longtail-SWE에서 내 평소 업무랑 비슷한 고난도 작업 12개를 뽑았지. 히든 테스트로 통과 여부를 결정했고, 모든 설정마다 작업당 3번씩 돌려봤음. 직접 결과도 다 확인했는데, 9개 작업에서 깨진 테스트나 프롬프트를 수정했고, 업스트림에서 그냥 정답 코드 긁어온 '솔루션'들은 전부 0점 처리함.
차트를 보면 주요 설정들이 나와 있음. Opus가 이끄는 팀 중 제일 잘한 게 69%임. 오히려 싼 단독 모델들이 팀 구성보다 다 이겨버림. GPT-6.1 Terra는 78%, Sol은 75%를 찍었는데 둘 다 작업당 $0.17밖에 안 함.
몇 가지 눈에 띄는 점:
-
계획이 좋아도 일꾼이 병신이면 답 없음. 팀이 실패한 경우 대부분은 일꾼 모델 혼자서도 못 푸는 문제였음.
-
모델 간 바통 터치하다가 망하는 경우가 많음. 어떤 작업에선 Opus가 프롬프트에도 없는 규칙을 지 맘대로 만들었는데, DeepSeek가 그걸 따라가고 Opus가 그걸 또 승인해버림. 정작 모델들 혼자 풀 때는 다 맞히는 문제인데 히든 테스트에서 광탈함.
-
기다리는 게 돈 먹는 하마임. 일꾼이 코딩하는 동안 Opus의 프롬프트 캐시가 만료돼서, Opus가 그걸 다시 빌드하느라 돈을 더 씀. 이것만으로도 일꾼 전체 비용보다 더 나옴.
-
어떻게 시키느냐가 중요함. Opus한테 코딩 금지시키는 대신 "네 토큰 값이 일꾼보다 20배 비싸다"라고 압박 넣으니까, 거의 절반 가격에 똑같은 점수가 나옴.
싼 모델들도 리뷰어 붙이니까 성능이 오르긴 함. Sol한테 코드 리뷰를 맡기니까 작업당 $0.07 정도 추가 비용으로 점수가 8~11점 올랐음. 근데 이건 일방향임. Sol이 Opus 코드를 리뷰하면 성능이 좋아지는데, Opus가 Sol 코드를 리뷰하면 오히려 성능이 꼬라박음.
겨우 12개 작업이라 작은 차이는 오차 범위일 수 있고, 짧은 작업들은 결과가 다를 수도 있음. 다음엔 Opus용 1시간 캐시 테스트해 볼 예정임.
전체 표, 모든 설정별 점수, 신뢰 구간, 작업당 비용 및 시간은 아래 링크 참고.
