r/LocalLLaMA•약 1개월 전•228•108

Qwen 3.8 27B를 양자화하고 RTX 6000에서 성능을 비교해 봄

We quantized Qwen 3.8 27B and compared the quants on an RTX 6000

핵심 요약

Qwen 3.8 27B 모델의 다양한 양자화 버전을 생성하고 복셀 섬 생성 작업을 통해 성능을 비교함.

모델 양자화 — Qwen 3.8 27B 모델을 다양한 GGUF 버전으로 양자화함.
성능 비교 — 복셀 섬 생성 작업을 통해 양자화 수준별 결과물을 테스트함.
결과 분석 — Q4와 Q6 사이의 성능 차이가 크지 않음을 확인함.
사용자 피드백 — Atomic Chat 앱 및 허깅페이스를 통해 모델과 벤치마크를 공개함.

Qwen 3.8 27B를 양자화하고 RTX 6000에서 성능을 비교해 봄 이미지 1

영상 보기

나랑 우리 팀이 Qwen 3.8 27B용 Atomic Dynamic GGUF 양자화 모델을 만들었는데, 각 양자화 모델마다 똑같은 복셀 섬 만들기 작업을 시켜서 결과가 어떻게 다른지 확인해 봤음.

일단 Qwen 3.8 27B가 3D 장면을 전반적으로 꽤 잘 다뤄서 놀랐는데, 뭐 사실 전부 복셀 기반이라 그런 것도 있을 듯.

quant	size	top-1 vs BF16	mean KLD	decode, RTX PRO 6000
AD-Q4_K_M	17.1 GB	95.6%	0.0113	67 tok/s
AD-Q5_K_M	20.2 GB	97.3%	0.0042	57 tok/s
AD-Q6_K	25.0 GB	98.7%	0.0011	49 tok/s
Q8_0	28.9 GB	98.9%	0.0006	50 tok/s

우리가 보기엔 각 양자화 모델이 장면을 처리하는 방식이 거의 비슷했음. 차이가 그렇게 극적이지 않아서 오히려 가끔은 Q4 결과물이 더 나을 때도 있었는데, 그래도 제일 안전한 걸 고르라면 AD-Q6_K를 추천함.

테스트는 atomic.chat에서 돌려보고 바로 결과물을 확인했음. 양자화 모델은 앱 내에서 바로 다운로드하거나 허깅페이스( https://huggingface.co/collections/AtomicChat/qwen-38-27b )에서 받을 수 있음. 피드백 주면 진짜 고맙겠음. 우리 제품이랑 모델을 너희들한테 최대한 좋게 만들려고 노력 중이니까.

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•228•108

Qwen 3.8 27B를 양자화하고 RTX 6000에서 성능을 비교해 봄

We quantized Qwen 3.8 27B and compared the quants on an RTX 6000

핵심 요약

Qwen 3.8 27B 모델의 다양한 양자화 버전을 생성하고 복셀 섬 생성 작업을 통해 성능을 비교함.

모델 양자화 — Qwen 3.8 27B 모델을 다양한 GGUF 버전으로 양자화함.
성능 비교 — 복셀 섬 생성 작업을 통해 양자화 수준별 결과물을 테스트함.
결과 분석 — Q4와 Q6 사이의 성능 차이가 크지 않음을 확인함.
사용자 피드백 — Atomic Chat 앱 및 허깅페이스를 통해 모델과 벤치마크를 공개함.

영상 보기

일단 Qwen 3.8 27B가 3D 장면을 전반적으로 꽤 잘 다뤄서 놀랐는데, 뭐 사실 전부 복셀 기반이라 그런 것도 있을 듯.

quant	size	top-1 vs BF16	mean KLD	decode, RTX PRO 6000
AD-Q4_K_M	17.1 GB	95.6%	0.0113	67 tok/s
AD-Q5_K_M	20.2 GB	97.3%	0.0042	57 tok/s
AD-Q6_K	25.0 GB	98.7%	0.0011	49 tok/s
Q8_0	28.9 GB	98.9%	0.0006	50 tok/s

주요 댓글

r/localllama

퀀트 모델의 성능 비교에 대한 기술적 논의와 함께, 게시물의 홍보 성격에 대한 사용자들의 솔직한 반응이 이어지고 있음.

129

Q8 결과가 일관되게 더 안 좋아 보이네.

이건 해당 벤치마크가 변별력을 갖지 못한다는 확실한 증거임. 항상 '성능이 낮을수록 생각이 너무 많지 않아서 더 낫다' 같은 소리를 하는 사람들이 있는데, 말도 안 되는 소리임. Quantization은 생각을 줄이는 식의 특정 행동 변화를 일으키는 게 아니라, 그냥 모델 전체를 망가뜨리는 것뿐임.

시드 값을 은근슬쩍(혹은 대놓고) 체리 피킹하면 16bit가 멍청하고 3bit가 천재라고 쉽게 '증명'할 수 있지. 이 예시가 나쁘다는 건 아니지만, 어떤 패턴이라도 보려면 시드 값이 엄청나게 많이 필요해. (1/2bit 퀀트 제외하고는) '노이즈'가 '측정값'보다 훨씬 크거든.

이거 안 좋게 나온 거 벌써 두 번째 봄.

캔버스 크기가 모델이 표현하려는 디테일에 비해 너무 작아서 그런 거 아님?

상관없음. 퀀트가 깨졌거나(가장 쉬운 건데 이상하긴 하지만), 아니면 그 특정 설정에 뭔가 문제가 있는 거임.

이거 어떻게 읽어야 함? 샘플링에 의한 무작위성이랑 모델 품질을 어떻게 구분함?

그럴 수 없음. 사람들은 이런 게 화려하고, 차트 해석할 필요 없이 원숭이 뇌로도 이해하기 쉽고, 해석의 여지가 많아서 자기 입맛대로 이야기를 지어낼 수 있으니까 좋아하는 거임.

0.01 KLD 이하에 95% top-1 이상이면 이런 작업에서 눈에 띄는 성능 저하는 없을 거임. 생성된 섬들을 보니 확실히 그렇네. 양자화 품질보다는 온도 설정에 따른 일반적인 샘플링 무작위성이 지배적임. 그래서 Q4도 이런 작업에는 '충분히 좋은' 듯. 토큰 소모량 추세가 나오면 흥미롭겠지만, 예시에서 본 변동성을 고려하면 훨씬 더 많은 샘플이 필요할 거임.

atomic chat 광고처럼 보이는데.

Q4는... 괜찮은 건가?

원문r/LocalLLaMA