Sonnet 5가 더 저렴할 줄 알았는데, Fable 5보다 비용이 더 많이 나오네
Sonnet 5 was supposed to be cheaper. It cost me more than Fable 5
핵심 요약
Sonnet 5와 Fable 5의 코딩 성능을 비교한 결과, 토큰당 단가는 낮아도 복잡한 작업에서는 Sonnet 5의 효율이 떨어져 전체 비용이 더 많이 발생함.
- 코딩 성능 비교 — RAG 디버거 및 게임 개발 작업에서 두 모델의 속도와 비용을 테스트함
- 비용 효율성 논란 — 토큰당 단가는 Sonnet 5가 저렴하지만, 결과물 품질과 수정 횟수 때문에 전체 비용은 Fable 5가 더 낮음
- 모델 활용 전략 — Sonnet 5를 단독으로 쓰기보다 Fable 같은 오케스트레이터와 함께 사용하는 것이 권장됨
- 실제 작업 효율 — 숙련된 개발자와 주니어 개발자의 차이처럼, 모델의 성능이 전체 프로젝트 비용에 큰 영향을 미침
Claude Sonnet 5랑 Fable 5로 코딩 작업 두 개 돌려봤다.
하나는 40만 줄짜리 Open WebUI 레포에 RAG 디버거 추가하는 거였고, 다른 하나는 브라우저 기반 클래시 로얄 스타일 게임 통째로 만드는 거였다.
먼저 40만 줄 정도 되는 Open WebUI 코드베이스에 RAG 디버거 좀 넣어달라고 시켰다.
디버거에 들어가야 할 기능은 이거임:
- 문서 처리 상태
- 추출된 텍스트
- 생성된 청크
- 청크 메타데이터
- 검색 결과
- 소스 상세 정보
- 검색 점수
둘 다 일은 잘하더라.
Fable은 전체 지식 베이스를 아우르는 디버거를 짰고, Sonnet은 문서 하나씩 확인하는 방식에 집중했음.
결과는 이럼:
- Fable 5: 25분 소요, $16.11, 687줄 추가
- Sonnet 5: 56분 소요, $12.05, 847줄 추가
가격은 Sonnet이 쌌는데, 속도는 Fable이 훨씬 빨랐고 개인적으로는 Fable 방식이 더 맘에 들었음.
두 번째 작업은 훨씬 빡센 거였다.
덱 빌딩, 매치메이킹, 봇 모드, 타워, 유닛, 에너지, 타겟팅, 체력, 승리 조건까지 다 들어간 브라우저 기반 클래시 로얄 게임을 만들어달라고 했음.
Fable이 진짜 미친놈처럼 잘 뽑아내더라.
한 번에 게임 뚝딱 만들고, 테스트 코드 31개 추가하고, Playwright로 UI 검증까지 돌리고, 서버 쪽 게임 로직도 깔끔하게 처리함.
결과물:
- 48분 소요
- $27.97
- 5,817줄 추가
- 183.5K 출력 토큰
- 테스트해보니 큰 버그 없음
Sonnet도 게임 자체는 그럴싸하게 만들었음. UI는 오히려 몇몇 부분에서 더 나았을지도.
근데 처음엔 대부분이 고장 나 있어서 수정 작업을 몇 번이나 거쳐야 했다.
결과물:
- 1시간 33분 소요
- $33.85
- 7,056줄 추가
- 404.9K 출력 토큰
- 수정 작업 다수 필요
이 부분이 이해가 안 감.
Sonnet이 원래 더 싼 모델 아니었나? 근데 어려운 작업 시키니까:
- 시간은 더 걸리고
- 코드는 더 많이 짜고
- 출력 토큰은 두 배 넘게 쓰고
- 수정은 더 많이 필요하고
- 결국 Fable보다 돈도 더 많이 나옴
Sonnet 5가 Sonnet 4.6보다 확실히 좋아진 건 맞음. 프론트엔드 작업이나 툴 사용 능력은 좋거든.
근데 긴 코딩 작업으로 넘어가니까 비용이 순식간에 개판이 됨.
토큰당 가격이 싸다고 해서 전체 작업 비용이 싼 건 아니라는 소리임.
