r/LocalLLaMA•약 1개월 전•416•529

[메가스레드] Qwen3.8-Flash-Next - 출시일

[Megathread] Qwen3.8-Flash-Next - Release Day

핵심 요약

Qwen3.8-Flash-Next 모델 출시를 앞두고 아키텍처와 하드웨어 구동 방식에 대한 기대와 토론이 이어지고 있습니다.

모델 아키텍처 — 125B A6B 및 51B n-gram 구조로 구성됨
하드웨어 최적화 — n-cpu-ffn 및 SSD 오프로딩 지원에 대한 기대감
기술적 관심사 — QSA(Qwen Sparse Attention)의 효율성과 성능에 집중
출시 지원 — Unsloth 및 llama.cpp의 당일 지원 예정

Qwen 3.8 Flash Next (출시 예정) 관련 통합 스레드다.

양자화(Quants)
파인튜닝 및 검열 해제(Fine-Tunes & Abliterations)
채팅 템플릿(Chat Templates)
추론 서버 지원 및 설정(Inference Server Support & Configuration)
사용 후기, 벤치마크 및 모델 비교(Experiences, Benchmarks & Model Comparisons)

앞으로 출시 관련해서 중복 글 올라오면 싹 다 정리하고 여기로 안내할 예정임.

예상 출시 시간: 2026-08-26 15:00 (UTC)

공식 링크:

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•416•529

[메가스레드] Qwen3.8-Flash-Next - 출시일

[Megathread] Qwen3.8-Flash-Next - Release Day

핵심 요약

Qwen3.8-Flash-Next 모델 출시를 앞두고 아키텍처와 하드웨어 구동 방식에 대한 기대와 토론이 이어지고 있습니다.

모델 아키텍처 — 125B A6B 및 51B n-gram 구조로 구성됨
하드웨어 최적화 — n-cpu-ffn 및 SSD 오프로딩 지원에 대한 기대감
기술적 관심사 — QSA(Qwen Sparse Attention)의 효율성과 성능에 집중
출시 지원 — Unsloth 및 llama.cpp의 당일 지원 예정

Qwen 3.8 Flash Next (출시 예정) 관련 통합 스레드다.

양자화(Quants)
파인튜닝 및 검열 해제(Fine-Tunes & Abliterations)
채팅 템플릿(Chat Templates)
추론 서버 지원 및 설정(Inference Server Support & Configuration)
사용 후기, 벤치마크 및 모델 비교(Experiences, Benchmarks & Model Comparisons)

앞으로 출시 관련해서 중복 글 올라오면 싹 다 정리하고 여기로 안내할 예정임.

예상 출시 시간: 2026-08-26 15:00 (UTC)

공식 링크:

주요 댓글

r/localllama

사용자들은 정보 접근성을 저해하는 메가스레드 운영 방식에 대해 강한 불만을 표하며, 기술적으로는 NVMe 오프로딩 지원을 시급한 과제로 꼽고 있습니다.

QSA(Qwen sparse attention)가 연산 헤드룸을 훨씬 덜 차지하거나, 스파스(sparse) 특성 덕분에 SSD의 엄청난 대역폭 병목 현상 없이 KV 캐시를 SSD로 오프로드할 수 있는 능력을 갖췄으면 좋겠음. DeepSeek V4로 해봤을 때 꽤 잘 작동했거든. llama.cpp가 모델이나 모델의 일부를 원하는 곳에 로드할 수 있게 더 자유도를 주는 기능을 추가해주길 바람. 예를 들어 n-cpu-moe를 n-ssd-ffn이나 n-cpu-ffn, n-ssd-kv, engram 등으로 확장하는 식으로 말이야.

QSA 논문이 너무 기다려짐. 참신하고 독특했으면 좋겠어. 잘 작동하기만 한다면 독특한 스파스 어텐션은 언제나 환영이지 :D

llama.cpp PR https://github.com/ggml-org/llama.cpp/pull/27742

젠장! 알려줘서 고마워!! 그럼 Unsloth는 포크 버전으로 모델을 양자화하고 있는 모양이네. PR이 머지되고 양자화 버전이 나올 때까지 기다렸다가 모델 다운로드해야겠다.

출시됐는데 관련 글이 하나도 없네. 출시 전부터 올라와 있던 이 메가스레드 말고는 아무것도 없음...

megathread는 megasuck(최악)임. Qwen3.8-27B 출시 때의 그 혼란스러움이 훨씬 좋았음. 중복 글이 많아도 정보 찾기가 훨씬 쉬웠거든. 메가스레드는 이번이 처음인데, 객관적으로 완전히 쓰레기 같은 경험임.

이미 관련 정보와 토론이 오가는 대형 사전 출시 스레드들이 있음:

이 모델은 약 125B A6B와 51B n-gram 구조로 오프로딩이 가능함.
Unsloth(아마 llama.cpp도) 당일 지원이 있을 예정.
일종의 [Qwen 4 프리뷰](https://www.reddit.com/r/Lo …

Qwen3.8-Flash-Next FP8, 2x RTX PRO 6000 Blackwell에서 약 124 tok/s 구동 중

오늘 하루 중 일부를 할애해서 로컬 박스 프로덕션 환경에 새로운 Qwen3.8-Flash-Next를 올리는 데 썼음. 지금까지는 꽤 인상적이지만, 확실히 튜닝 관련해서 흥미로운 특이점들이 좀 있음.

하드웨어:

Dell Precision 7960 랙
2x Xeon Platinum 8562Y+
512GB DDR5 ECC RAM
2x RTX PRO 6000 Blackwell Max-Q, 각각 96GB
vLLM
Qwen/Qwen3.8-Flash-Next-FP8
TP=2
262K 컨텍스트

흥미로운 부분은...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

engram을 위해 NVMe 오프로딩을 지원하는 llama.cpp 기능이 필요함. 안 그러면 대부분의 우리 시스템에서 이 모델을 돌릴 수가 없음.

아이고, 32GB DDR4 램이랑 8GB VRAM 들고 구경이나 해야겠네.

Qwen3.8-27B처럼 Apache 2.0 라이선스는 아닌 것 같네. 'Qwen Community License 1.0'이야. 보니까 월간 활성 사용자(MAU)가 1억 명이 넘거나 월 매출이 2천만 달러 이상이면 Qwen3.8-Flash-Next 모델 이름을 표시해야 하는 것 같아.

그리고 'Model as a Service'나 'AI Work Assistant' 같은 비즈니스는 별도의 라이선스를 받아야 하고. https://huggingface.co/Qwen/Qwen3.8-2.4T-A95B 이거랑 같은 라이선스인 듯. 난 상관없어서 괜찮음.

원문r/LocalLLaMA