Qwen 3.8 Flash Next를 전체 n-gram 테이블과 함께 실행해보는 건 어떨까?
Why not run Qwen 3.8 Flash Next with the full n-gram-table?
핵심 요약
Qwen 3.8 Flash Next 모델의 n-gram 테이블(PLE)을 고해상도로 유지하여 성능을 개선하는 실험과 논의를 다룹니다.
- PLE 최적화 — n-gram 테이블을 고해상도(FP8/BF16)로 유지하여 모델의 실수 감소
- 성능 영향 — 속도 저하 없이 결과물 품질 향상 가능성 확인
- 실험 방법 — GGUF 변환 도구를 활용해 PLE를 별도 파일로 로드하는 방식
- 커뮤니티 의견 — 언어별 차이는 미미하나 고해상도 PLE의 이점에 대한 추가 검증 필요
이미 여기 https://www.reddit.com/r/LocalLLaMA/comments/1x85hfj/strata_qwen_38_flash_next_fast_but_whats_it/phavui9/에 올렸지만, 이 주제는 따로 글을 파서 다룰 가치가 있다고 본다.
SSD에 들어가는 n-gram 테이블인 PLE는 일반적인 GGUF에서 엄청나게 양자화가 되어 있어서 성능에 눈에 띄는 영향을 주는데, u/MarkoMarjamaa가 여기서 그걸 증명했음: https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/qwen38_flash_next_unsloth_quants_kldtop1_with/
댓글 아래쪽을 보면 u/Eyelbee가 전체 bf16 n-gram 테이블을 돌리는 거에 대해 언급하더라. Grok한테 물어보니까 그건 llama.cpp 같은 데서만 돌아가는 'bf16 sidecar'라는 방식인 듯함. Strata는 FP8이 필요한데, 이게 풀 퀄리티일 거임. 솔직히 내 수준에선 좀 어렵네. 그래서 ple_fp8_pack.py로 빌드해 봤는데, 확실히 결과물에 긍정적인 영향을 주는 것 같다. 난 iq3_s를 쓰는데, 전에는 모델이 멍청한 실수를 훨씬 많이 했거든. 속도 저하는 전혀 없음! 디스크 공간만 좀 더 차지할 뿐임.
이거 해보고 싶으면 https://huggingface.co/Qwen/Qwen3.8-Flash-Next에서 model-00005부터 model-00037.safetensors까지랑 model.safetensors.index.json을 받아서 아래 명령어로 GGUF로 패킹하면 됨.
tools/ple_fp8_pack.py --model /media/your_ssd/Strata-data/download_folder --out /media/your_ssd/Strata-data/ple/ple-fp8.gguf
그리고 .json 파일에 이렇게 로드해라.
"--ple-gguf",
"/media/your_ssd/Strata-data/ple/ple-fp8.gguf"
파일 경로는 당연히 네 환경에 맞게 수정해야 함. 47기가나 되는 걸 업로드 못 해줘서 미안하다. :-) 성능을 제대로 테스트하는 법은 잘 모르겠는데, 똑같은 멍청한 프롬프트로 돌린 두 장면을 보여줄게.
Build a beautiful 3D scene of a train driving through a futuristic cyberpunk city in HTML. dystopian vibes, detailed models, try not to use too many boxes in the models. Be creative and add some user interactivity like camera and weather controls.
기본 PLE(IQ4_NL로 양자화됨)를 쓴 IQ3_S
