BrokenML: AI 에이전트가 고장 난 머신러닝 작업을 해결할 수 있을까?
BrokenML: can agents fix broken ML jobs?
핵심 요약
머신러닝 작업 오류 해결을 위한 AI 에이전트의 접근 권한별 성능을 평가한 벤치마크 연구입니다.
- 벤치마크 설계 — Slurm 클러스터 및 Docker 환경의 ML 오류 해결 능력 평가
- 접근 권한 테스트 — 코드/설정 파일만 제공할 때와 클러스터 루트 권한을 줄 때의 성능 차이 분석
- 모델 성능 격차 — 오픈 모델과 클로즈드 모델 간의 해결 능력 차이 확인
- 실제 오류 반영 — OOM, 체크포인트 손상, 노드 지연 등 실무에서 발생하는 문제들로 구성
Write-up: https://zhebrak.io/posts/brokenml/
Repo: https://github.com/zhebrak/brokenml
에이전트가 망가진 ML 워크로드(2노드 Slurm 클러스터에서 Gloo 기반 PyTorch를 돌리거나 Docker Compose로 llama.cpp 서버를 띄우는 환경)를 성공적으로 고치려면 어느 정도의 접근 권한이 필요한지 알아보려고 벤치마크를 직접 만들었다. 별도의 검증기가 새 클러스터에서 작업을 다시 돌려보고 각 솔루션의 점수를 매기는 방식이다. 랭크 간 셰이프 불일치나 멈춰버린 집합 통신(hanging collectives), 느려터진 노드(straggler node), OOM 에러, 깨진 모델 체크포인트, 스케줄링 문제, 형편없는 서빙 처리량, 조용히 발생하는 손실 발산(silent loss divergence) 등 실무에서 겪을 법한 문제들을 그대로 재현했다.
9개 모델을 대상으로 세 가지 접근 권한 수준에서 모든 작업을 수행해 봤다. 설정 파일과 코드만 볼 수 있는 경우, 여기에 실시간 읽기 전용 로그까지 볼 수 있는 경우, 그리고 클러스터 루트 권한까지 다 가진 경우다. 오픈 모델과 클로즈드 모델의 격차는 주로 클러스터 전체 접근 권한 없이 설정 파일과 코드만 보고 에이전트가 뭘 할 수 있느냐에서 갈렸다. 주의할 점은 GPU가 아니라 CPU 기반 Gloo 환경에서 테스트했고, 모델당 작업별로 딱 한 번씩만 돌려봤다는 거다.
