Qwen3.8 Flash Next - 템플릿 비교

핵심 요약

• 추론 강도를 xhigh로 올리면 기본 템플릿과 Fixed 템플릿이 Sharp를 거의 다 따라잡는다. medium 단계에선 Sharp가 기본 대비 +3개, Fixed 대비 +7개 더 많은 작업을 해결했지만, xhigh에선 오히려 기본과 Fixed가 Sharp를 각각 +5개, +4개 앞선다.

• Sharp는 토큰/시간 비용이 실제로 늘어났음에도 해결 능력은 거의 그대로다(94 → 94). 중간 추론 토큰은 +46.5%, 중간 벽시계 시간(wall time)은 **+53.4%**나 늘어났다. 이건 Sharp가 medium 단계에서 이미 추론 예산으로 뽑아낼 수 있는 효율을 다 뽑아먹고 있었고, 기본이랑 Fixed는 아직 더 성장할 여력이 남아있었다는 뜻이다.

• xhigh 단계에서 해결된 작업당 토큰 효율은 여전히 Sharp가 가장 좋다(Sharp 14,541 출력 토큰 vs 기본/Fixed 약 17,000). medium 단계에서의 효율성 우위는 유지하고 있지만, 추론 강도를 높였을 때 가장 높은 해결률을 보여주는 템플릿은 더 이상 아니다.

• 절대적인 비용은 추론 강도에 따라 엄청나게 뛴다. 총 벽시계 시간은 기본/Fixed가 대략 2.3~2.5배, Sharp는 +28% 늘어났고, 총 추론 토큰은 기본/Fixed가 거의 2배, Sharp는 +35% 증가했다.

결론

• Sharp는 medium 단계에서 쓰는 게 맞다. 적당한 속도로 꽤 괜찮은 정확도를 유지해주니까. xhigh에서 굳이 이걸 쓸 이유는 모르겠다. 정확도 조금 포기하면 작업 시간을 절반으로 줄일 수 있는데 굳이?

• Stock은 제일 느리지만 가장 정확함.

• Fixed는 정확도랑 속도 면에서 Stock이랑 Sharp 사이의 중간 지점임.

• 다음 벤치마크는 훨씬 방대한 SWE-bench Multilingual + Terminal Bench로 진행할 예정.

면책 조항: 글은 내가 직접 썼고, 가독성 좋게 다듬는 것만 AI 도움 좀 받았음

업데이트 완료 :)