우리의 골 모드(goal mode), NetHackers에서 SOTA 달성
Our goal mode hit SOTA on NetHackers
핵심 요약
멀티 에이전트 시스템을 도입해 기존 골 모드 대비 성능과 효율을 대폭 개선한 NetHack 봇을 개발했습니다.
- 멀티 에이전트 시스템 — 메인 코더를 감시하고 조언하는 보조 에이전트를 추가하여 성능 향상
- NetHackers 성과 — 특정 캐릭터로 SOTA 달성 및 기존 대비 42% 높은 점수 기록
- 비용 및 속도 효율 — 기존 codex 골 모드 대비 4.4배 빠른 속도와 9% 저렴한 비용 달성
- NetHack 봇 개발 — LLM이 직접 게임을 하는 것이 아니라 코딩 에이전트가 오프라인 봇을 작성하는 방식
goal mode라는 개념 나온 지 벌써 1년 반이나 됐는데, 그동안 claude나 codex나 이 부분에서 딱히 큰 발전이 없었음. Tibo가 30일 동안 뭔가 좀 바꿔주길 기대했는데, 역시나 아무것도 없더라.
혹시 goal mode 자주 쓰는데 지금 퀄리티 때문에 불만 많았던 사람들을 위해 해결책 하나 들고 옴.
우리가 goal mode를 멀티 에이전트 시스템에 박아 넣었거든. 메인 코더 말고 에이전트 하나를 더 붙여서, 얘가 돌아가는 꼴을 지켜보다가 가끔씩 훈수도 두고 방향도 잡아줌. 코더한테는 자기가 시도했던 시행착오 기록도 쥐여줬고. 자세한 건 우리 readme 확인해 봐: https://github.com/Makson179/Bello
결과:
-
NetHackers 캐릭터 중 하나(val-hum-law-fem)에서 SOTA 찍음.
-
24시간 테스트 기준으로 codex goal보다 점수 42% 높고, 결과 도출 속도는 4.4배 빠르며, 비용은 9% 더 저렴함.
NetHackers가 뭔지 궁금할까 봐 말해주는데, 이건 NetHack이라는 게임을 돌리는 봇들 순위표임. NetHack은 1987년에 나온 던전 게임이고. 봇은 오프라인에서 돌아가는 순수 코드로만 짜야 함. LLM이 직접 게임을 하는 게 아니라, 코딩 에이전트가 봇을 짜는 방식임. 봇마다 0에서 100%까지 진행 점수가 매겨지는데, 87.5% 이상이면 게임 클리어로 치거든? 근데 아직 이걸 깬 봇은 하나도 없음.
