SWE-rebench 리더보드 업데이트 (2026년 3월~5월): GPT-5.5, Opus 4.7, Cursor (Composer 2.5), Kimi K2.6 등
SWE-rebench Leaderboard (March, April and May 2026): GPT-5.5, Opus 4.7, Cursor (Composer 2.5), Kimi K2.6 and More
핵심 요약
SWE-rebench 리더보드가 110개의 최신 파이썬 작업으로 업데이트되었으며, 향후 더 다양한 모델과 다국어 작업을 추가할 예정입니다.
- 리더보드 업데이트 — 3~5월 GitHub PR 기반 110개 파이썬 작업 추가됨
- 평가 방식 — 실제 PR 이슈 해결, 코드 수정, 테스트 통과 여부 검증
- 향후 계획 — Gemini Flash 3.5, DeepSeek v4 Pro 등 모델 추가 및 다국어 지원 예정
- 커뮤니티 소통 — 디스코드 채널을 통해 모델 요청 및 피드백 수렴 중
swe-rebench.com
원문 사이트로 이동
안녕하세요,
잠시 자리를 비워 죄송합니다. 저희는 더 복잡한 작업들로 구성된 대규모의 고품질 데이터셋을 수집하고 있었습니다. 지난 3개월을 아우르는 대규모 리더보드 업데이트 소식을 전하게 되어 기쁩니다.
3월, 4월, 그리고 5월 일부 기간에 생성된 GitHub PR에서 추출한 110개의 새로운 파이썬 작업으로 SWE-rebench 리더보드를 업데이트했습니다.
평가 설정은 표준 SWE-bench 형식을 따릅니다. 모델은 실제 PR 이슈를 읽고, 코드를 수정하고, 테스트를 실행하여 전체 테스트 스위트를 통과해야 합니다.
이번에는 평소처럼 적은 수의 작업을 매달 업데이트하는 대신, 더 넓은 범위의 작업 세트에서 모델을 평가할 수 있도록 대규모 배치를 수집했습니다. 더 집중적인 뷰를 원하신다면 리더보드에서 작업 범위를 좁게 선택할 수도 있습니다.
다음 주 중으로 Gemini Flash 3.5, DeepSeek v4 Pro, Qwen3.5-397B-A17B를 포함하여 로컬 개발용 소형 모델들을 추가할 예정입니다. 앞으로도 모델을 자주 업데이트하되, 비교적 큰 작업 배치 단위로 진행할 계획입니다. 또한 리더보드에 다국어 작업을 추가하는 작업과 곧 공유할 몇 가지 사항들을 준비 중입니다. 저희가 실행했으면 하는 모델이 있다면 요청 보내주세요!
여러분의 생각과 피드백을 기다립니다.
모델에 대해 논의하거나, 아이디어를 공유하고, 질문하거나, 문제를 보고하려면 저희 디스코드의 리더보드 채널에 참여하세요:
https://discord.gg/V8FqXQ4CgU