공유 메모리 계층을 추가해서 토큰 비용을 50% 이상 절감했습니다
I cut my token spend 50%+ by adding a shared memory layer across agents
핵심 요약
에이전트 간 공유 메모리 계층을 도입해 중복된 컨텍스트 주입을 줄이고 토큰 비용을 절반으로 낮춘 사례입니다.
- 비용 절감 — 공유 메모리 도입으로 월 580달러에서 260달러로 토큰 비용을 절반 이상 줄임
- 중복 제거 — 에이전트 간 상태 공유를 통해 불필요한 재작업과 컨텍스트 재주입 문제를 해결함
- 구조 개선 — 오케스트레이터에게 전체 기록 대신 요약된 상태를 제공하여 효율성을 높임
- 메모리 계층 — 프로젝트별로 스코프가 지정된 저장소를 통해 에이전트 간 가시성을 확보함
모델 하나가 계획 짜고 일을 시키면 워커들이 실행하는 오케스트레이터 구조를 쓰고 있는데, 메모리 넣기 전에는 오케스트레이터가 호출될 때마다 프로젝트 전체 상태, 지금까지 한 거, 남은 거 같은 걸 매번 다시 집어넣어야 했음. 오케스트레이터 토큰의 60% 이상이 이미 지난 호출에서 다 알던 내용을 다시 읽는 데 쓰였고, 덕분에 한 달에 580달러 정도 깨졌음.
워커들은 더 가관이었던 게, 다른 워커가 뭘 했는지 전혀 모르니까 에이전트 1이 이미 만들어 놓은 걸 에이전트 3이 다시 짜고 앉아 있고, 오케스트레이터는 20번 전에 보냈던 일을 까먹고 또 시키고 난리도 아니었음.
더 이상 방법이 없어서 공유 메모리 레이어를 추가했음. 모든 에이전트가 프로젝트별로 스코프가 지정된 같은 저장소를 읽고 쓰게 만든 거지. 이제 오케스트레이터는 전체 히스토리 대신 현재 상태를 요약한 랭킹 데이터를 받고, 워커들은 뭘 만들기 전에 이미 있는 건지 확인부터 함. 그랬더니 토큰 비용 반토막 나고 중복 작업도 거의 사라짐.
지금은 한 달에 260달러 정도 나오고, 메모리 레이어 비용이 19달러니까 결과적으로 한 달에 300달러 아끼는 셈임. 이 정도면 만족함.
멀티 에이전트 돌리는데 비용 너무 많이 나온다 싶으면, 호출할 때마다 컨텍스트를 얼마나 다시 집어넣고 있는지 확인해 봐. 나도 그게 문제였으니까.
