r/LocalLLaMA•약 3시간 전•66•40
Strata에서 Qwen3.8-Flash-Next 지원 시작
Qwen3.8-Flash-Next on Strata
핵심 요약
Strata가 Strix Halo 기기에서 Qwen3.8-Flash-Next를 공식 지원하며, 1M 컨텍스트까지 고속 추론이 가능해졌습니다.
- 공식 지원 — Strix Halo 기기에서 Qwen3.8-Flash-Next 사용 가능함
- 고성능 추론 — 1M 컨텍스트까지 속도 저하 없이 긴 문맥 처리 가능함
- 실험적 단계 — 현재 리눅스 환경에서만 지원되는 실험적 기능임
- 피드백 요청 — 개발자가 사용자들의 피드백과 풀 리퀘스트를 적극 환영함
안녕! 👋
Qwen3.8-Flash-Next를 위한 Strata에서 Strix Halo 머신에 대한 공식 지원을 시작했어.
현재 Unsloth의 일반적인 Q4 및 GSQ-RCO 모델 가중치를 사용했을 때 긴 문맥 디코딩과 ppts에서 가장 좋은 수치가 나오고 있어.
속도 저하 거의 없이 1M 컨텍스트 길이까지 뽑아낼 수 있어. 현재 지원은 실험적인 단계로 표시되어 있고, 리눅스에서만 작업했어.
https://github.com/Niko1221/Strata/
피드백이나 풀 리퀘스트 보내주면 정말 고마울 것 같아! 👀
