[논문] FireFlash: 비용 효율적인 장기 에이전트 강화학습을 위한 오픈 레시피
[Paper] FireFlash : An Open Recipe for Long-Horizon Agentic RL Achieving the Performance-Cost Pareto Frontier
핵심 요약
300B 규모의 FireFlash 모델이 적은 GPU 자원으로도 기존 모델들과 대등한 에이전트 성능을 달성했습니다.
- 성능 및 비용 효율성 — 64개의 B300 GPU로 5일 만에 기존 모델 대비 30배 저렴한 비용으로 동등한 성능 달성
- 에이전트 특화 설계 — 터미널 및 코딩 작업에 최적화되어 Terminal-Bench 4.0에서 46.2% 성능 기록
- 핵심 학습 레시피 — 정교한 환경 큐레이션과 장기 롤아웃에 최적화된 강화학습 기법 적용
- 오픈 소스 계획 — 모델 가중치 및 학습 레시피 공개 예정
긴 호흡의 에이전트 작업에 특화된 300B 규모의 모델, FireFlash를 소개한다. FireFlash는 터미널 및 코딩 에이전트로서 압도적인 성능을 보여주는데, Terminal-Bench 4.0에서 46.2%를 기록1하며 Fable 5나 GPT-6 Sol과 어깨를 나란히 한다. 그러면서도 최대 성능 기준 작업당 비용은 Fable 5보다 30배 이상 저렴하다(그림 1). 이런 성능 향상은 DeepSWE v1.12이나 SWE-Bench Pro Verified3 같은 소프트웨어 엔지니어링 벤치마크에서도 그대로 이어진다(표 1).
거대 연구소들이 수천 개의 GPU를 돌려가며 강화 학습을 할 때, 우리는 NVIDIA B300 GPU 64개만 써서 5일 만에 성능-비용 파레토 최적점을 찍었다. 이게 가능한 이유는 크게 세 가지다. (1) 모든 작업이 적절한 난이도에서 확실한 신호를 줄 수 있도록 에이전트 강화 학습 환경을 꼼꼼하게 다듬었고, (2) 길고, 오래되고, 낮은 정밀도의 롤아웃에 최적화된 강화 학습 레시피를 짰으며, (3) 학습과 평가 모두 모델에 딱 맞춘 최적화된 코딩 하네스를 사용했다. 이 요소들을 합쳐서 GPU 100개 규모의 클러스터로도 최첨단 효율을 뽑아냈고, 그 레시피 전부를 공개한다.
