아무도 언급하지 않는 Qwen Flash Next의 잠재적 SOTA Q2
Qwen Flash Next potential SOTA Q2 nobody talks about
핵심 요약
AgentionAI의 GYRO 양자화 모델이 ISTA-lab 수준의 성능을 내면서도 크기는 훨씬 작아 주목받고 있습니다.
- GYRO 시리즈 — ISTA-lab 대비 뛰어난 KLD와 작은 크기를 자랑하는 양자화 모델임
- 성능 검증 — 3일간의 테스트 결과 루핑 없이 안정적인 문맥 유지와 지시 이행을 보여줌
- 기술적 한계 — 키릴 문자 처리에서 약간의 불안정함이 있으나 전반적으로 매우 우수함
- 커뮤니티 인식 — 뛰어난 성능에도 불구하고 아직 LLM 커뮤니티에서 충분한 인정을 받지 못함
Strata랑 저비트 QFN 얘기만 나오면 다들 Unsloth이나 ISTA-lab만 찾고, Agantai가 만든 GYRO 시리즈 양자화 모델은 아무도 언급을 안 하네 - https://huggingface.co/agentionai/Qwen3.8-Flash-Next-Gyro-GGUF
이 양자화 모델들은 ISTA 거보다 KLD랑 top 1 성능은 더 좋으면서 용량은 더 작다고 주장함. 게다가 루프 저항성도 강화했다고 광고하더라고. 워낙 대담한 주장이기도 하고 1인 개발자가 만든 거라 처음엔 좀 의심스러워서 직접 확인해보기 꺼려졌는데, 용량 절감 폭이 너무 매력적이라 참을 수가 있어야지. 그래서 GYRO-M 받아서 좀 굴려봤다. 내 경험은 이래:
더 들어가기 전에 내 설정값부터 공유함:
-
Inference engine: GYRO fork of the Strata
-
Quant used: GYRO-M
-
Vision: yes, took it from ISTA lab IQ3_XXS quant
-
Context: 200k
-
KV cache quantisation: k8v4
-
Agent: Pi agent
-
Samplings: temperature: 1.0, top_p: 0.95, top_k: 20, min_p: 0.05
-
Thinking: always xhigh
루핑(Looping)
3일 동안 테스트하는 동안 단 한 번도 루프 안 걸림. 제일 길게 돌린 자율 사이클이 2~3시간 정도였는데, 제작자 말이 진짜인 듯.
툴 호출(Tool calls)
대체로 안정적인데, 키릴 문자(러시아어, 우크라이나어) 편집할 때 가끔 맛이 감. 주관적인 느낌으로는 ISTA q2 양자화 모델보다는 안정적인데, 키릴 문자 문제 때문에 ISTA q3보다는 좀 떨어짐.
컨텍스트 유지(Context retention)
뇌절하는 기미는 전혀 안 보임. 처음 목표를 절대 안 까먹고, 뉘앙스도 거의 다 기억함. 지시사항 이행도 아주 안정적임.
성능(Performance)
ISTA 2비트 양자화 모델만큼 빠름.
예시(Example)
프롬프트: "create an animated voxel 3d world of a pelican riding a bike as good as you can"
첫 번째 사진이 ISTA lab IQ3XXS
두 번째가 ISTA lab IQ2XS
세 번째가 GYRO-M
