r/AI_Agents•3개월 전•7•5
벤치마크 비용 문제
Cost of Benchmarks
핵심 요약
AI 에이전트 벤치마크 실행 시 발생하는 과도한 토큰 비용에 대한 불만과 대안을 찾는 글입니다.
- 벤치마크 비용 — terminal-bench나 swe-bench 같은 벤치마크 실행 시 수천 달러의 비용이 발생함
- 실행 비용 문제 — opus 4.6 모델로 terminal-bench를 한 번 돌리는 데 최대 4만 달러가 소요됨
- 대안 탐색 — 비용 부담이 적고 합리적인 결과를 얻을 수 있는 벤치마크를 찾고 있음
최근에 내 에이전트를 몇몇 유명한 벤치마크에 돌려보면 좋겠다는 생각을 했어. 그런데 세상에, terminal-bench나 swe-bench 같은 벤치마크를 한 번 실행하는 데 토큰 비용으로만 수천 달러가 깨지더라고. 당연히 평균적인 결과를 얻으려면 여러 번 실행해야 할 텐데 말이야.
opus 4.6으로 terminal-bench를 돌리면 최대 4만 달러까지 나올 수 있어. 딱 한 번 실행하는데 말이지.
이게 대체 무슨 상황이야? 20만 달러씩 날리지 않고도 합리적인 결과를 얻을 수 있는 유명한 벤치마크 아는 사람 있어?
