r/LocalLLaMA•약 1개월 전•46•27
Qwen 3.8 27B Aider 벤치마크 점수
Qwen 3.8 27B Aider score
핵심 요약
Qwen 3.8 27B 모델이 Aider 벤치마크에서 72.9점을 기록하며 1년 전 SOTA 모델들과 대등한 성능을 보여줌.
- 벤치마크 결과 — Qwen 3.8 27B FP8 모델이 Aider 벤치마크에서 72.9점을 기록함.
- 성능 비교 — 1년 전 SOTA 모델인 Gemini 2.5 Pro와 대등하며 Claude Opus 4를 상회함.
- 양자화 논의 — FP8 대신 Q6나 Q8 양자화를 사용하면 더 나은 성능을 기대할 수 있다는 의견이 제시됨.
- 추가 테스트 — 작성자가 FP16 모델로 KV 캐시 양자화 없이 추가 테스트를 진행할 예정임.
Qwen 3.8 27B FP8 모델에 FP8 KV 캐시, 256K 컨텍스트 vLLM 조합으로 Aider 벤치마크 돌려봤다.
점수는 72.9점.
이거 2025년 4월 12일 자 Gemini 2.5 Pro 점수인 72.9점이랑 똑같음.
2025년 5월 25일 자 Claude Opus 4 점수인 72.0점도 가볍게 제꼈고.
DeepSeek R1 2025년 6월 6일 자 모델은 71.4점 찍었더라.
그냥 벤치마크 점수 놀이일 수도 있고, 나온 지 좀 된 벤치마크긴 한데, 그래도 내 맥북으로 1년 좀 넘은 SOTA 모델들 성능을 따라잡는다는 게 진짜 미친 거 같다.
실제 성능은 하네스(harness)가 더 좋아져서 저 모델들보다 훨씬 압도적임. DeepSeek 하네스 돌려보고 있는데, 턴 수는 좀 더 쓰겠지만 Aider 테스트 문제들 100%는 아니더라도 거의 다 풀어낼 기세임.
