Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S): 12GB VRAM + 32GB RAM + NVMe 환경에서 20-30 tok/sec 디코드 및 300-90k tok/sec 프리필 달성

생전 처음으로 Strata 포크에 별 달았음, 이거 진짜 너무 좋음!

좋네, 나도 내 나름대로 Strata 튜닝해서 쓰는데 24GB VRAM + 32GB RAM이라 훨씬 쉽긴 하지만 여전히 NVMe 오프로딩은 필요함.

난 ista gsq rco 양자화 모델로 안 좋은 경험을 해서 그냥 unsloth에 머물렀음.

UD iq3 xs 180k fp16, 알리바바 기본 샘플링 블록, 출력 70-95 tps에 프리필 1000+ 정도 나옴.

일반 사용자 입장에서 포크 버전이랑 일반 Strata의 가장 큰 차이점이 뭐야?

이거 Iq3s로 해봤는데 너무 느려서 지금 q2_0 시도 중임.

목표는 pp(프롬프트 처리) 성능을 크게 깎아먹지 않으면서 iq1 코더보다 품질을 조금이라도 높이는 거임.

Iq1은 꽤 빨랐으니까 q2에서 비슷한 pp를 얻을 수 있다면 성공이라고 볼 거임. tg(토큰 생성)는 300pp 정도만 나오면 별로 신경 안 씀. tg 7-10 정도면 됨, 어차피 이 모델은 딱 한 가지 용도로만 쓰니까.

아주 좋네! GSQ-RCO 양자화 모델들은 진짜 대단함.

난 27B IQ3_XXS 쓰는 중인데, 내 개인용 llama.cpp 포크 써서 12GB VRAM에 75K 컨텍스트로 62 tk/s까지 뽑고 있음.

Qwen4는 KV 캐시 용량만 줄어든다 해도 엄청 기대됨.

90,000 tok/sec 프리필

어어...

iq3s는 너무 느렸는데 iq2_0이 괜찮게 돌아가는 거 보니 기쁘네. 이제 iq1이랑 품질 차이 테스트해 볼 건데, 별 차이 없을 거라 예상하지만 일단 봐야지.

iq2_0 속도: 두 테스트 모두 통과했고, 서버는 응답에 요청별 타이밍을 반환함. 결과:

tg (토큰 생성): 256 토큰 생성 → 65.3 tok/s (짧은 77토큰 프롬프트). 로그에 찍힌 네 트래픽은 더 좋음: 100~455 토큰 생성 시 83.5~84.1 tok/s,
MTP 드래프트는 70/85 및 294/386 수용됨.

pp (프롬프트 처리): 31,388 토큰 신규 프롬프트 (캐시 없음) → 1547.6 tok/s. 로그를 보면 50k 신규 프롬프트에서 1952 tok/s, 그리고 50,274/50,736 토큰이 프리픽스 캐시에서 재사용된 후속 요청(신규 읽기는 462 토큰뿐)이 찍힘.

전부 SC117의 레퍼런스(그의 12GB/12코어 박스에서 39~44 tg, 250~1260 pp)보다 훨씬 높음. 한 가지 참고할 점: 모델이 추론을 많이 함 — max_tokens 256/8로 설정했더니 출력이 reasoning_content로 돌아왔고 content는 null, finish_reason은 length였음. leito의 S-버튼 경로가 추론 분할을 처리하는 것 같으니, API 클라이언트는 max_tokens를 넉넉하게 잡거나 엔진이 지원한다면 추론 기능을 끄는 게 좋을 듯.

공유해 줘서 고마움, 덕분에 최소한 iq1에서 벗어날 동기가 생겼음.

그 하드웨어에서 디코드 20-30이면 믿을만하네. 90k 프리필은 그 방법이 뭔지 알고 싶은 수치인데 — 프롬프트 길이가 얼마임? 청크 단위? 캐시에서 측정한 거임 아니면 콜드 상태에서?