r/LocalLLaMA•약 1개월 전•216•88
Qwen3.8 27B 추론 강도(low/medium/xhigh) 비교 테스트
Qwen3.8 27B reasoning effort low/medium/xhigh comparison
핵심 요약
Qwen3.8 27B 모델의 추론 강도에 따른 SVG 생성 성능과 속도를 비교한 테스트 결과입니다.
- 추론 강도 비교 — xhigh 설정이 시각적 품질은 월등히 높지만 생성 시간은 7배 더 소요됨
- 하드웨어 성능 — RTX 5080 노트북 GPU를 사용하여 75.4 t/s의 빠른 생성 속도를 기록함
- 테스트 방법론 — 펠리컨이 자전거를 타는 SVG 생성 프롬프트를 사용하여 3가지 시드값으로 검증함
- 모델 성능 평가 — 추론 강도에 따른 토큰 사용량과 시각적 품질 점수를 상세히 비교함
기본 설정인 xhigh로 돌리면 모델이 생각을 너무 많이 하길래, 추론 강도별로 짧게 테스트 좀 해봤음.
딱히 과학적인 건 아니고, 그냥 "자전거 타는 펠리컨 SVG 생성해줘"라는 프롬프트 하나 던져놓고 시드 3개로 돌려본 거임. 결과가 꽤 흥미로운데, xhigh가 확실히 시각적 퀄리티는 *훨씬* 좋음. 근데 low보다 시간은 7배나 더 걸리더라. low랑 medium은 거의 차이 없는 듯.
하드웨어 및 설정
- GPU: NVIDIA RTX 5080 Laptop GPU, 16 GB VRAM
- 모델:
unsloth/Qwen3.8-27B-UD-IQ3_XXS - llama.cpp: build 10451, commit
10bf611e5 - 컨텍스트: 65,536
- KV 캐시: Q8_0
- Flash Attention: 활성화
- MTP 추론 디코딩:
--spec-default --spec-type draft-mtp --fit off- 동시 슬롯 1개
프롬프트:
Create a polished SVG graphic of a pelican riding a bicycle. The result must clearly show a recognizable pelican actively riding a recognizable two-wheeled bicycle. Return only one complete, self-contained SVG document with a viewBox; no Markdown fences, prose, external images, JavaScript, or animation.
평균 결과
| Reasoning effort | Reasoning tokens | SVG tokens | Total completion | Wall time | Generation speed | MTP acceptance | Visual score (Codex rated) |
|---|---|---|---|---|---|---|---|
| Low | 4,418 | 3,966 | 8,387 | 111.6 s | 75.4 t/s | 62.1% | 21.8/25 |
| Medium | 5,918 | 3,038 | 8,959 | 127.4 s | 70.5 t/s | 58.3% | 22.5/25 |
| X-High | 39,398 | 5,085 | 44,487 | 717.8 s | 62.0 t/s |
