Qwen 3.8 Flash Next의 과도한 기대가 이해되지 않음
I don't get the qwen 3.8 flash next hype
핵심 요약
작성자가 Qwen 3.8 Flash Next 모델의 성능이 27B 모델보다 떨어진다고 주장하며 논란이 발생함.
- 성능 비교 — 작성자가 3.8 Flash Next와 27B 모델을 테트리스 코딩으로 비교함
- 설정 문제 — 일부 사용자는 Strata의 기본 샘플링 설정이 모델 성능을 저하시킨다고 지적함
- 경험 차이 — 사용자마다 환경과 설정에 따라 모델 성능에 대한 체감이 크게 갈림
- 벤치마크 신뢰도 — 단일 벤치마크 결과로 모델 전체를 평가하는 것에 대한 회의적인 시각 존재
내 경험은 4x 3090 환경에서 Qwen 3.8 Flash Next UD-Q4_K_XL을 돌려본 결과임.
Qwen 3.8 27b Q8이랑 직접 비교해보면 상대도 안 됨. 게다가 strata 결과는 llama.cpp보다도 훨씬 구렸음. 생성 속도는 빨랐을지 몰라도 말이야. strata에서 한 번은 4시간 동안 돌려봤는데 실행 가능한 exe 파일조차 안 나오더라. 그 뒤로는 첫 번째 프롬프트당 1시간으로 제한 걸고 돌렸음.
보면 알겠지만 27b는 첫 번째 프롬프트 완성 단계에서 버그가 2개 있었음. 근데 두 번째 프롬프트 진행하면서 스스로 둘 다 고치더라.
버그 내용은 이거였음:
-
일시 정지 중에도 게임 조작이 먹힘.
-
게임 오버 후에도 게임 조작이 먹힘.
로컬 프롬프트는 deepseek의 harness를 통해서 돌리는 중임.
결과물로 나온 게임 스크린샷은 안 올릴 거임. 어차피 모델마다 시각적으로 살짝 차이만 있을 뿐 다 거기서 거기고, 그게 여기서 중요한 포인트도 아니니까.
정확한 프롬프트는 다음과 같음:
Prompt 1:
Build a Windows Tetris game with keyboard controls, scoring, increasing difficulty, and pause/restart. Deliver a standalone .exe that runs without installation.
Prompt 2:
Add local two-player mode with side-by-side boards and separate controls (WASD and arrow keys). The last player standing wins. Deliver the updated standalone .exe.
그리고 그래, q8 모델이랑 q4 모델 비교하는 게 멍청한 짓인 건 나도 앎. 근데 여기 사람들 하도 Qwen 3.8 fn이 q3 수준에서도 27b 모델보다 낫다(혹은 최소한 비슷하다)고, strata에서도 빠르고 좋다고 난리 치길래 직접 확인해 본 거임.
