16GB VRAM에서 Qwen3.8 27B 모델 중 가장 좋은 것은 무엇인가요?

답글 달던 사람은 아니지만: 1. 똑똑하네. 2. 차이 측정해봤어? 512가 256보다 나은지 수치로 가지고 있는지 궁금해서. 3. 27B에서 ngram이 무슨 역할을 해? draft token은 몇 개나 쓰고 있어? 난 2개일 때 속도 향상이 제일 컸는데, 1개도 없는 것보단 빠르더라고. VRAM이 진짜 부족하면 MTP 1 시도해볼 만해. 4. 똑똑하네. Q8 KV 쓰고 있네. Q4로 해보거나 K=Q8, V=Q4로 나눠본 적 있어? 그러면 VRAM을 조금 더 확보할 수 있을 텐데, 품질에 큰 영향은 없길 바라. VRAM이 정말 부족하고 컨텍스트가 엄청 길지 않다면 KV를 아예 Q4로 돌리는 걸 추천해.

2: 아니, 이론상으로는 성능이 약간 떨어지겠지만 실제로는 차이를 거의 못 느꼈어. 테스트를 여러 번 해보면 한 자릿수 퍼센트 정도의 작지만 체감 가능한 하락은 분명히 있겠지. 3: Unsloth Studio 기본값인 2를 쓰고 있어. 내가 틀렸을 수도 있는데, 이게 VRAM 사용량에 큰 영향을 준다고 생각하진 않아. 내 이해로는 모델이랑 MTP에 쓰이는 KV 캐시가 VRAM을 주로 잡아먹는 거지, draft 개수는 아무것도 바꾸지 않거든. Q4 KV 캐시 관련해서는, 처음에 시도해봤고 그때 90k 컨텍스트 정도는 확보할 수 있었을 거야. 예전엔 최적화가 덜 된 상태로 Q4 KV 캐시를 써서 70k 정도 컨텍스트를 썼는데, 지금 설정이면 공간이 훨씬 많이 남겠지. 근데 Q4를 쓰니까 Qwen이 이상한 부분에서 루프를 도는 희귀한 케이스가 생기더라고. 예를 들어 Unsloth Studio에 대해 물어봤는데, 컨텍스트 어디에도 없는 'Unsloath'라는 오타를 이해하려고 하다가 루프에 빠지는 식이었어. 이건 심하게 양자화된 KV 캐시 문제라고밖에 생각할 수 없지. 그래서 다시 Q8 KV 캐시로 돌아온 거야.

1. 확장된 vision 기능이 필요 없을 때만 똑똑한 선택이지. Unsloth Studio 같은 소프트웨어는 VRAM이 작으면 자동으로 vision을 CPU로 돌려버리거든(커스텀 mmproj 파라미터로 막을 순 있음). 내가 큰 책 페이지를 스캔할 때 CPU로 돌리니까 완전히 실패하더라고(20분 타임아웃). 반면에 GPU는 vision 프로세스를 빠르게 처리해. 내가 저렴한 보조 GPU를 하나 더 산 주된 이유가 바로 이거야.

처음에 말했듯이 난 로컬 LLM 돌리는 거 완전 초보야. 지금까지는 Unsloth Studio로 모델 설정 맞추는 것만 해봤고, 어떤 Harness를 써야 할지는 아직 못 정했어. 모델도 마찬가지인데, 추천받은 거나 댓글에서 언급된 ISTA IQ3_S를 써볼 생각이야. 뭐가 더 나은지 아직 비교는 안 해봤는데, 둘 다 크기가 비슷해서 컨텍스트 윈도우도 비슷할 거야. 만약 ISTA IQ3_S를 쓴다면, VRAM을 좀 더 아낄 수 있게 내가 링크한 모델 설명에 있는 ASCII pruning 툴을 써보는 걸 추천해. 내 글은 시작점 정도로만 참고해 줘. 다른 사람들이 잘 언급 안 하는 VRAM 절약 팁을 공유하고 싶었거든.