r/LocalLLaMA•29일 전•475•143
Qwen 3.6 27B 양자화 버전별 품질 비교 (BF16, Q8_0, Q6_K, Q5_K_XL, Q4_K_XL, IQ4_XS, IQ3_XXS 등)
핵심 요약
16GB VRAM 환경에서 Qwen 3.6 27B의 양자화 버전별 체스 보드 추론 및 SVG 렌더링 성능을 비교 분석함.
- 양자화 성능 비교 — 다양한 양자화 버전이 체스 상태 추적과 SVG 생성에 미치는 품질 저하를 테스트함.
- 하드웨어 최적화 — 16GB VRAM 환경에서 최적의 성능을 내는 양자화 모델을 찾기 위한 실험을 진행함.
- 모델별 결과 — BF16은 완벽한 결과를 보였으나, 낮은 양자화로 갈수록 폰트나 보드 좌표 등에서 품질 저하가 나타남.
- 실험의 한계 — 모델이 기존 체스 데이터를 학습했을 가능성을 배제하기 위해 무작위 수를 사용하여 검증함.
Qwen 3.6 27B의 다양한 양자화 버전 간의 품질 차이(일명 성능 저하)를 테스트하기 위해 제가 고안한 비포괄적인 테스트입니다. 제 16GB VRAM 환경에서 돌릴 수 있는 최고의 양자화 모델이 무엇인지 알아보고 싶었습니다.
테스트 내용
먼저 프롬프트입니다:
Given this PGN string of a chess game:
1. b3 e5 2. Nf3 h5 3. d4 exd4 4. Nxd4 Nf6 5. f4 Ke7 6. Qd3 d5 7. h4 *
Figure out the current state of the chessboard, create an image in SVG code, also highlight the last move.
