Qwen3.8-Flash-Next vs Opus 5.5: Claude Code와 Pi를 활용한 실제 Rust 기능 구현 벤치마크
Qwen3.8-Flash-Next vs Opus 5.5: Six-way benchmark on a real Rust feature with Claude Code and Pi
핵심 요약
로컬에서 구동한 Qwen3.8-Flash-Next와 클라우드 Opus 5.5의 성능을 비교한 결과, 모델만큼이나 워크플로우 도구(harness)의 영향력이 큼을 확인했습니다.
- 성능 비교 — Opus가 여전히 우세하지만 Qwen3.8-Flash-Next도 로컬 환경에서 비용 대비 훌륭한 성능을 보여줌
- 도구의 중요성 — 동일 모델이라도 Claude Code와 Pi 같은 워크플로우 도구에 따라 CI 통과율 등 결과 차이가 큼
- 비용 효율성 — Flash-Next는 로컬 구동 시 전기료만으로 Opus 대비 압도적인 가성비를 기록함
- 벤치마크 결과 — 12번의 실행 모두 기능 구현에는 성공했으나, Opus가 엣지 케이스와 문서화에서 더 뛰어난 결과물을 냄
레딧에서 이유도 없이 글이 삭제돼서 다시 올린다 (왜 삭제됐는지 도통 모르겠음).
지난 게시물에서 몇몇 형들이 Flash-Next랑 Opus를 서로 다른 하네스랑 노력 수준으로 비교하는 건 공평하지 않다고 지적하더라고. 그래서 이번엔 좀 더 통제된 환경에서 비교해 봤다.
모든 실행에 동일한 과제를 부여함: LlamaStash 로드맵에 있는 실제 기능 구현 (llama-server의 KV 캐시를 언로드 전에 저장했다가 모델이 다시 돌아오면 복구하는 기능). 6가지 조합으로 각각 두 번씩 돌려서 총 12개의 PR을 만들었음. Flash-Next는 내 Strix Halo 노트북(Flow Z13)에서 Halogen(~Q4 양자화)을 통해 로컬로 돌렸고, Opus 5.5, Flash-Next, Kimi K3가 7개의 리뷰 질문이랑 CI를 기준으로 각 PR을 채점함.
| Combination | Score (of 8) | Time | API cost | Tokens (in / cached / out) |
|---|---|---|---|---|
| Claude Code + Opus 5.5, xhigh | 6.94 (87%) | 43.5 min | $17.78 | 507k / 48.3M / 203k |
| Claude Code + Opus 5.5, medium | 6.25 (78%) | 23.4 min | $6.52 | 242k / 13.4M / 95k |
| Claude Code + Flash-Next, medium | 5.5 (69%) | 45.3 min | $0.32 | 445k / 13.5M / 82k |
| Pi + Flash-Next, xhigh | 5.44 (68%) | 63.8 min | $0.67 | 316k / 35.0M / 134k |
| Claude Code + Flash-Next, xhigh | 5.38 (67%) | 49.5 min | $0.39 | 269k / 18.9M / 99k |
| Pi + Flash-Next, medium | 5.06 (63%) | 48.1 min | $0.56 | 242k / 29.1M / 117k |
점수는 두 번 실행한 결과의 평균값임. 시간, 비용, 토큰 수는 두 번째 실행 결과에서 가져왔고, 프롬프트에는 100k 토큰 벤치마크 수치를 제공했음. Flash-Next 비용은 Qwen3.8-Flash의 QwenCloud 가격 기준으로 잡았는데, 난 로컬에서 돌렸으니까 전기세밖에 안 들었음.
세 줄 요약
-
12번 다 성공했고 12개 PR 전부 엔드투엔드 테스트 통과함.
