Qwen 3.6 27B Q8 모델, 262K 컨텍스트 구동에 VRAM이 얼마나 필요한가요?

기억하기로는 53GB 정도 필요할 겁니다. LM Studio에 메모리 요구량을 꽤 정확하게 보여주는 슬라이더가 있어요.

그리고 GPU에 따라 OP는 통신 오버헤드를 위해 조금 더 필요할 거야. 난 R9700 2개 쓰는데 가끔씩 뻗더라. 74GB짜리 RTX5000은 안 뻗음.

내 생각엔 멀티 GPU 설정에서 llama.cpp에 뭔가 문제가 있는 것 같아(적어도 R9700에서는). 2주 전쯤 빌드된 구버전 쓰면 듀얼 R9700에서도 잘 돌아가거든. 그리고 MTP 성능 향상도 최근 llama.cpp 빌드(ggml-org 공식 컨테이너 빌드)보다 훨씬 체감이 커. 구버전은 262k 컨텍스트 꽉 채워도 잘 돌아가고. 물론 컨텍스트 130k 넘어가면 f16 캐시를 써도 모델 품질 자체가 떨어지는 것 같긴 해.

작은 모델들로는 한계에 다다라서 9700 알아보고 있었는데. 너희 둘 다 LM Studio에서 Vulkan 쓰는 최근 llama.cpp 빌드를 선호한다는 뜻이야?

LM Studio는 llama.cpp를 백엔드로 쓰는데 MLX/Vulkan/ROCm/CUDA용 빌드를 갈아 끼울 수 있는 식이야. 난 네이티브 llama.cpp랑 LM Studio 둘 다 Vulkan으로 돌려. 둘 다 써봤는데 llama.cpp가 커스터마이징이 훨씬 자유롭다는 거 빼면 큰 차이는 못 느꼈어. 그래도 LM Studio 기본 설정이 보통 충분히 좋고 자동 모델 스위칭이 엄청 편해서 쓰는 거지.