r/LocalLLaMA•약 5시간 전•293•30
Qwen, 초장기 복잡 작업 AI 에이전트 학습을 위한 RL 프레임워크 'QwenGyre' 공개
Qwen released QwenGyre - RL framework for training AI agents on extremely long complex tasks
핵심 요약
Qwen이 GPU 효율을 극대화하고 복잡한 에이전트 학습 속도를 획기적으로 높인 새로운 RL 프레임워크 QwenGyre를 발표했습니다.
- 탄력적 스케줄러 — GPU 자원을 실시간으로 재배치하여 학습 속도를 최대 1.85배 향상함
- 궤적 프로세서 — 복잡한 분기 실행을 효율적인 트리 구조로 변환하여 학습 샘플을 최적화함
- 성능 향상 — NL2RepoBench 성능을 52.5%에서 58.5%로 끌어올리고 학습 시간을 44% 단축함
- 기술적 성과 — 70만 토큰 규모의 롤아웃을 처리하며 초장기 작업 학습의 효율성을 입증함
QwenGyre를 소개한다. 초장기 호라이즌(XLong) 에이전트 학습에 탄력적 RL(elastic RL)을 도입한 녀석이다.
핵심 설계는 두 가지다.
- Elastic Scheduler: 수요 변화에 따라 롤아웃과 학습 사이에서 GPU를 실시간으로 재할당한다. 실행 중단은 전혀 없다. Colocate 대비 최대 1.85배, Async 대비 1.78배 속도 향상을 보여준다.
- Trajectory Processor: 브랜칭 실행(컴팩션, 서브 에이전트, 재시도)을 접두사가 공유된 궤적 트리로 변환해서 학습 샘플을 중복 제거하고 바운드한다. 타임아웃 이후의 부분적인 진행 상황도 점수에 반영된다.
Qwen3.8-2.4T-A95B 모델에 롤아웃당 약 70만 토큰 규모로 스케일업한 결과, QwenGyre는 NL2RepoBench 성능을 48단계 만에 52.5%에서 58.5%로 끌어올렸고, 전체 학습 시간은 Async 대비 약 44%나 줄였다.
🔗 논문 읽기:
