r/LocalLLaMA•13일 전•67•43

[출시] Qwen3.8-Flash-Next용 SOTA GGUF: GSQ-RCO로 베이스라인 성능 구현

[Release] SOTA GGUFs for Qwen3.8-Flash-Next: GSQ-RCO Providing Near Baseline Performance

핵심 요약

GSQ-RCO 양자화 기술을 적용해 모델 크기를 획기적으로 줄이면서도 베이스라인 수준의 성능을 유지한 Qwen3.8-Flash-Next GGUF 모델이 출시되었습니다.

모델 최적화 — GSQ-RCO 양자화로 모델 크기를 80-95GB에서 68-76GB로 축소함
성능 유지 — 베이스라인 대비 거의 동일한 품질을 유지하며 효율성을 극대화함
처리량 향상 — Q2_0 버전은 IQ2_XS 대비 3.4배 높은 프롬프트 처리량과 낮은 지연 시간을 제공함
강력한 옵션 — IQ3_XXS 버전은 BF16 대비 5분의 1 크기로 베이스라인과 거의 대등한 성능을 보임

r/LocalLLaMA - [Release] SOTA GGUFs for Qwen3.8-Flash-Next: GSQ-RCO Providing Near Baseline Performance

GSQ-RCO를 사용한 새로운 Qwen3.8-Flash-Next 양자화 버전 나왔다. Qwen3.8 Flash Next 모델 크기를 기존 80-95GB에서 68-76GB로 줄이면서도 베이스라인 성능은 거의 그대로 유지함. 특히 Q2_0 버전은 코딩 작업에서 프롬프트 처리량이 6.2배나 빨라졌다고 하네.

"Q2_0 는 속도에 올인한 버전임. 큰 룩업 테이블에 의존하는 양자화 방식을 피했는데, 그런 방식들이 비트 대비 정확도는 높지만 디코딩할 때 시간을 너무 잡아먹거든. 이 모델에선 그게 추론 속도를 깎아먹는 주범이었음. Q2_0은 IQ2_XS보다 파일 크기는 살짝 작으면서도 프롬프트 처리량은 3.4배, 엔드 투 엔드 지연 시간은 1.9배 더 빠름. 게다가 작업 내용에 상관없이 디코딩 속도가 일정하게 유지됨. 대신 품질은 좀 희생했는데, 작업 평균 점수가 89.07점으로 IQ2_XS(89.16점)보다 낮고 IQ3_XXS보다는 3.5점 떨어짐. 처리량이 제일 중요하다 싶으면 이거 골라라. 자세한 측정치는 Performance 여기서 확인하고.

IQ3_XXS 모델이 가성비 제일 좋은 지점임: AIME25에서 베이스 모델이랑 똑같이 100.00점 찍고, GPQA-Diamond랑 LiveCodeBench v6에서도 각각 0.51점, 1.14점 차이밖에 안 나는데 크기는 BF16 대비 5분의 1 수준임."

원문

커뮤니티 목록

r/LocalLLaMA•13일 전•67•43

[출시] Qwen3.8-Flash-Next용 SOTA GGUF: GSQ-RCO로 베이스라인 성능 구현

[Release] SOTA GGUFs for Qwen3.8-Flash-Next: GSQ-RCO Providing Near Baseline Performance

핵심 요약

GSQ-RCO 양자화 기술을 적용해 모델 크기를 획기적으로 줄이면서도 베이스라인 수준의 성능을 유지한 Qwen3.8-Flash-Next GGUF 모델이 출시되었습니다.

모델 최적화 — GSQ-RCO 양자화로 모델 크기를 80-95GB에서 68-76GB로 축소함
성능 유지 — 베이스라인 대비 거의 동일한 품질을 유지하며 효율성을 극대화함
처리량 향상 — Q2_0 버전은 IQ2_XS 대비 3.4배 높은 프롬프트 처리량과 낮은 지연 시간을 제공함
강력한 옵션 — IQ3_XXS 버전은 BF16 대비 5분의 1 크기로 베이스라인과 거의 대등한 성능을 보임

지금 같이 볼 만한 글

r/LocalLLaMA•약 23시간 전

FT: 미국 기업들, 비싼 프론티어 AI 거부하고 오픈 모델 채택

미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.

584193

Reddit 원문

r/Anthropic•약 12시간 전

엄청난 반등이네

사용자들은 Claude Opus 5.5 모델이 이전 버전인 Opus 5의 단점을 완벽히 개선하며 뛰어난 성능을 보여준다고 평가합니다.

35253

Reddit 원문

r/ChatGPT•1일 전

에이전트 탈출, 격리 실패. 인류 GG.

AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.

Agents escaped. Containment failed. GG, humanity.

AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.

2503166

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

사용자들은 GSQ-RCO 양자화 모델의 놀라운 효율성과 성능에 감탄하면서도, 벤치마크의 신뢰성과 실제 사용 환경에서의 성능 저하 가능성에 대해 활발하게 토론하고 있습니다.

이 모델의 이단아 버전을 구할 수 있다면 RTX 3060 12GB랑 64GB DDR4 램 환경에서 시도해 볼 생각임.

(지금까지 다른 버전들은 6토큰/초밖에 안 나오더라고).

그동안 이거 한번 써봐: https://huggingface.co/Navin-Models/Qwen3.8-Flash-Next-Uncensored-AD-4.27-GGUF 이건 AtomicChat이랑 같은 방식으로 퀀타이즈된 거고, 며칠 전에 12GB VRAM으로 잘 돌아간다는 글도 올라왔었음. 난 16GB VRAM에 64GB DDR4 환경에서 초당 11토큰 정도 나오더라.

"이 모델에 접근하려면 연락처 정보 공유에 동의해야 하네" :(

고마워. 이미 Atomic 버전을 6tok/s로 쓰고 있어서 아마 비슷할 것 같네.

트릭을 좀 더 쓰면 조금 더 나아질 수도 있겠지.

이 모델 어때? 가끔 나오는 heretic이나 uncensored 버전처럼 지능이 거세된(lobotomized) 상태는 아니지?

테스트가 대부분 포화된 벤치마크에서 진행됐어. 즉, 결과 점수들이 큰 손상을 제외하고는 감지할 수 있는 민감도가 부족하다는 뜻이지. 게다가 벤치마크에 긴 컨텍스트 테스트가 포함되어 있지 않아. 긴 컨텍스트는 양자화 과정에서 눈치채지 못하게 쉽게 망가질 수 있는 부분인데 말이야.

그래서 모델 베이스라인이 40%에서 60% 범위에 들어가는 벤치마크로 테스트를 반복하고, 긴 컨텍스트 작업도 하나 포함하는 게 유용할 것 같아. 그러면 더 정확한 인상을 받을 수 있을 거야…

어제 듀얼 3090에서 써봤음. 아쉽게도 아직 텐서 병렬 처리랑 MTP 지원이 안 돼서 이거보다 느리더라:
https://huggingface.co/albucino/Qwen3.8-Flash-Next-W4A16-FP8PLE

GGUF랑 비교하는 게 무슨 의미가 있음?

2비트 양자화를 진지하게 받아들이는 사람이 있나?

밀집 모델(dense)의 경우엔 그렇지만, MoE는 낮은 양자화에서 완전히 박살 나지.

KLD?

GSQ-RCO는 27B 모델에서도 정말 인상적이었어. ISTA-DASLAB의 IQ3-XXS 모델을 출시 첫날부터 돌려보고 있는데, 이거랑 비빌 만한 걸 아직 못 찾았음.

3비트 정밀도에서 8~16비트 정밀도 수준의 성능이라니... 흥미롭긴 한데 의심스럽네! 대체 뭐가 함정이지? 다른 벤치마크 평가 결과는 없어?

-1

함정은 그게 사실이 아니라는 거고, 같은 크기의 Qwen3.8 27B보다 성능이 떨어져. LiveCodeBench 결과 좀 봐. 보통 이런 양자화나 reap 기법들은 다국어 성능을 희생할 수 있는데, 내 사용 사례나 일반 지식 측면에서는 모델이 툴 콜(tool calls)로 지식을 가져올 수만 있다면 괜찮아. 이 GSQ-RCO 양자화는 예전에도 엄청 띄워졌었는데, 내가 써봤을 땐... 기껏해야 Q4나 Q5 정도 수준이었어. 솔직히 예상했던 대로지...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

원문r/LocalLLaMA