r/LocalLLaMA•약 6시간 전•42•26
DeepSeek Flash Max, 어려운 SWE-sweep 버그 찾기 벤치마크에서 1%를 넘긴 최초의 모델
DeepSeek flash max is the first model to reach >1% on challenging SWE-sweep bug finding benchmark
핵심 요약
DeepSeek Flash Max가 SWE-sweep 벤치마크에서 오픈 웨이트 모델 최초로 1% 성능을 돌파하며 주목받고 있습니다.
- 벤치마크 성과 — DeepSeek Flash Max가 SWE-sweep에서 1% 이상의 성능을 기록함
- 오픈 소스 격차 — 상용 모델인 Gemini 4 Hydrogen(13.5%) 등에 비해 여전히 갈 길이 멂
- 평가 방식 — 단일 에이전트 하네스를 사용하여 모델의 순수 추론 능력을 측정함
- 향후 계획 — 커뮤니티의 요청에 따라 Qwen 3.8 등 다양한 모델을 추가할 예정임
안녕, SWE-sweep 리더보드에 오픈 웨이트 모델들 좀 더 추가해서 업데이트했다!
DeepSeek v4.1 flash (max)가 우리가 평가한 모델 중 처음으로 1% 넘긴 오픈 웨이트 모델임.
이 벤치마크 진짜 개빡세다. 모델한테 수백 개의 버그가 들어있는 (존나 큰) 레포지토리 스냅샷을 던져주는데, 버그가 뭔지 힌트도 안 주고 다 고치라고 시킴. 그래서 추론 능력 존나 많이 필요하고, 장기적인 작업이 될 수밖에 없음.
모델 자체 성능만 보려고 전부 같은 하네스에서 평가했음 (Claude Code나 Codex 하네스랑 비교도 해봤는데 딱히 유의미한 차이는 없더라). 그래도 멀티 에이전트 쓰면 어느 정도 성능 끌어올리는 건 가능함. 직접 평가 돌려보고 싶으면 github에 코드 있으니까 확인해 봐.
현재 최고 성능인 독점 모델은 Gemini 4 Hydrogen으로 13.5% (google 모델 카드 기준), 그 뒤를 GPT Astra 6가 9.5% (우리가 평가한 결과)로 잇고 있음. 그러니까 오픈 웨이트 모델들은 아직 갈 길이 멀다.
오픈 소스 리더보드 계속 확장할 건데, 또 어떤 모델들 추가하면 좋을까?
