Qwen3.8-Flash-Next vs Opus 5.5: Claude Code와 Pi를 활용한 실제 Rust 기능 구현 벤치마크
Qwen3.8-Flash-Next vs Opus 5.5: Six-way benchmark on a real Rust feature with Claude Code and Pi
핵심 요약
로컬에서 구동한 Qwen3.8-Flash-Next가 Opus 5.5와 비교해 비용 대비 뛰어난 성능을 보여주며 실무 활용 가능성을 입증함.
- 성능 비교 — Flash-Next가 Opus 대비 엣지 케이스 처리 등에서 약간 뒤처지지만 핵심 기능 구현은 충분함
- 비용 효율성 — 로컬 구동 시 전기료만 발생하여 API 비용이 드는 Opus보다 압도적으로 경제적임
- 모델 활용도 — 대부분의 작업에서 Opus급 모델은 불필요하며 Sonnet이나 Flash로도 충분히 해결 가능함
- 벤치마크 결과 — 12개 PR 모두 테스트를 통과했으며 Flash-Next의 속도와 정확도가 실무 수준에 근접함
지난 게시글에서 Flash-Next랑 Opus를 서로 다른 하네스랑 노력 수준으로 비교한 건 공정하지 않다는 지적이 좀 있더라고. 그래서 이번엔 좀 더 통제된 환경에서 비교해 봤음.
모든 실행에 동일한 과제 부여: LlamaStash 로드맵에 있는 실제 기능 구현 (llama-server 모델 내리기 전에 KV 캐시 저장하고, 다시 올릴 때 복구하는 기능). 총 6개 조합을 각각 두 번씩 돌려서 12개 PR을 뽑았음. Flash-Next는 내 Strix Halo 노트북(Flow Z13)에서 Halogen(~Q4 양자화)으로 로컬 구동함. Opus 5.5, Flash-Next, Kimi K3가 7개 리뷰 질문이랑 CI 기준으로 모든 PR을 채점했음.
| Combination | Score (of 8) | Time | API cost | Tokens (in / cached / out) |
|---|---|---|---|---|
| Claude Code + Opus 5.5, xhigh | 6.94 (87%) | 43.5 min | $17.78 | 507k / 48.3M / 203k |
| Claude Code + Opus 5.5, medium | 6.25 (78%) | 23.4 min | $6.52 | 242k / 13.4M / 95k |
| Claude Code + Flash-Next, medium | 5.5 (69%) | 45.3 min | $0.32 | 445k / 13.5M / 82k |
| Pi + Flash-Next, xhigh | 5.44 (68%) | 63.8 min | $0.67 | 316k / 35.0M / 134k |
| Claude Code + Flash-Next, xhigh | 5.38 (67%) | 49.5 min | $0.39 | 269k / 18.9M / 99k |
| Pi + Flash-Next, medium | 5.06 (63%) | 48.1 min | $0.56 | 242k / 29.1M / 117k |
점수는 두 번 실행한 결과의 평균임. 시간, 비용, 토큰 수는 100k 토큰 벤치마크 수치를 프롬프트에 넣고 돌린 두 번째 실행 기준임. Flash-Next 비용은 Qwen3.8-Flash의 QwenCloud 가격으로 책정했는데, 난 로컬에서 돌렸으니까 사실상 전기세밖에 안 듦.
세 줄 요약
-
12개 실행 전부 완료됐고, 12개 PR 다 엔드투엔드 테스트 통과함.
-
Opus가 코드 더 잘 짬. 평균 82%로 Claude Code + Flash-Next(68%)나 Pi + Flash-Next(66%)보다 높음. 엣지 케이스나 테스트, 문서화 쪽에서 차이가 좀 나는데, 핵심 기능은 다 잘 돌아감. Opus랑 Qwen 격차가 생각보다 그렇게 크진 않음.
