Luna Max 서브에이전트 사용 비용 분석
A cost analysis of my usage of using Sol using Luna max subagents
핵심 요약
Luna Max 서브에이전트를 사용해도 비용 절감이나 성능 향상은 미미하며, 오히려 오버헤드로 인해 비용이 증가하는 경향이 있습니다.
- 비용 효율성 — Luna 서브에이전트 사용 시 비용이 약 30% 증가함
- 성능 지표 — 작업 완료 속도는 20~40% 빨라지지만 비용 대비 효율은 낮음
- 캐싱 문제 — Sol의 컨텍스트 유지 비용이 전체 비용 상승의 주원인임
- 운영 팁 — 모델 간 직접적인 모니터링을 피하고 수동으로 작업을 분리하는 것이 유리함
다들 Luna max 서브 에이전트 많이들 쓰길래, 이게 진짜 돈이 절약되는지 아니면 구현 속도가 빨라지긴 하는 건지 궁금해서 한번 테스트해 봤음.
세 줄 요약:
어... 딱히 그런 거 같진 않음. 내가 잘못 쓰고 있는 걸 수도 있는데, 지금 당장은 추천 못 하겠다.
전반적인 관찰 결과
비용은 약 35% 더 나옴 ($0.25 vs $0.32). 비용 대부분은 그냥 Sol에서 나간 거임 ($0.24 vs $0.09 luna). 결과물은 비슷했고, 처리량(throughput)은 20~40% 정도 더 높았음.
내 생각엔 Sol이 KV 캐시 안 날아가게 하려고 계속 컨텍스트를 새로고침해야 해서 그런 듯. 캐싱 기능이 더 좋아지거나 하면 이론상 비용은 훨씬 줄어들 것 같긴 함.
실험 방식:
-
리팩토링 작업을 여러 번 돌렸음. 첫날은 Sol + Luna max 에이전트 조합으로, 컨텍스트에 Luna 서브 에이전트를 항상 쓰라고 지시함. 서브 에이전트는 지가 쓰고 싶은 만큼 마음대로 쓰게 냅뒀음.
-
다른 포크(fork)에서 Sol만 써서 똑같은 작업을 돌림.
관찰 내용:
-
비용 분포가 팻 테일(fat-tailed)/포아송 분포를 보였는데, Sol 오케스트레이터가 컨텍스트 캐시 유지하려고 몇 초나 몇 분마다 계속 핑을 날려대서 그런 거임. 그거 아니었으면 훨씬 저렴했을 듯.
-
Sol 단독으로 썼을 때가 포아송 분포를 보이는 Sol 오케스트레이터보다 훨씬 정상적인 분포를 보임.
-
비용이 많이 나온 건 Luna 서브 에이전트 때문이 아니라 대부분 Sol 때문임. Luna는 기껏해야 9센트 정도 추가된 수준.
-
Sol은 한 번에 여러 서브 에이전트를 돌려쓰는데, 보통 10개까지 쓰는 경향이 있음. 이건 내가 몇 개 쓰라고 지시했는지에 따라 달라진 걸 수도 있음.
결과:
성공률:
- 둘 다 거의 성공함. 근데 둘 다 항상 일을 너무 복잡하게 만드는 경향이 있음.
평균 작업 완료 시간:
- 둘 다 목표는 대충 달성했는데, 서브 에이전트 쓴 쪽이 20~40% 정도 미세하게 빨랐음.
비용 비교:
- Luna 서브 에이전트 쓴 쪽이 약 30% 더 비쌈.
마무리:
암튼, 너네 생각은 어떰? 내가 잘못 쓰고 있는 거냐? 너네가 써본 결과는 어때?
