r/LocalLLaMA•28일 전•174•122논쟁

ExLlamav3 최신 업데이트: CPU 오프로드, GLM-5.3-FLASH, Qwen3.8-Flash, SC 양자화 등

ExLlamav3 Recent Updates : CPU offload, GLM-5.3-FLASH, Qwen3.8-Flash, SC Quants ++

핵심 요약

ExLlamav3의 최신 업데이트로 CPU 오프로드, 새로운 모델 지원 및 최적화 기술이 추가되어 성능이 대폭 향상됨.

CPU 오프로드 — MoE 전문가 모델의 CPU 오프로드 지원으로 메모리 효율 개선함
새로운 모델 지원 — Qwen-3.8-Flash-Next 및 GLM-5.3-Flash 모델 추가됨
최적화 기술 — 새로운 자체 보정(self-calibrated) 최적화 기법 도입됨
성능 향상 — NVIDIA GPU 환경에서 더 빠른 추론 속도와 품질 제공함

turboderp가 또 massive updates를 들고 왔다:

- MoE 전문가 CPU 오프로드
- Qwen-3.8-Flash-Next ngram 디스크 오프로드
- GLM-5.3-Flash
- 새로운 self-calibrated optimization 기술
- 그 외 셀 수 없이 많은 최적화와 개선 사항들

NVIDIA 카드 쓰는데 최근에 안 써봤으면 진짜 손해 보는 거다.

첨부된 고양이 사진은 Qwen-3.8-Flash-Next-3.05bpw-exl3 모델이랑 아래 프롬프트로 만든 거임:
Create a detailed SVG image of a cute kitten riding a magic turtle into space.

exllama discord 와서 같이 놀자.
더 빠른 소식은 exllama sub에서 확인 가능함.

원문

커뮤니티 목록

r/LocalLLaMA•28일 전•174•122논쟁

ExLlamav3 최신 업데이트: CPU 오프로드, GLM-5.3-FLASH, Qwen3.8-Flash, SC 양자화 등

ExLlamav3 Recent Updates : CPU offload, GLM-5.3-FLASH, Qwen3.8-Flash, SC Quants ++

핵심 요약

ExLlamav3의 최신 업데이트로 CPU 오프로드, 새로운 모델 지원 및 최적화 기술이 추가되어 성능이 대폭 향상됨.

CPU 오프로드 — MoE 전문가 모델의 CPU 오프로드 지원으로 메모리 효율 개선함
새로운 모델 지원 — Qwen-3.8-Flash-Next 및 GLM-5.3-Flash 모델 추가됨
최적화 기술 — 새로운 자체 보정(self-calibrated) 최적화 기법 도입됨
성능 향상 — NVIDIA GPU 환경에서 더 빠른 추론 속도와 품질 제공함

turboderp가 또 massive updates를 들고 왔다:

NVIDIA 카드 쓰는데 최근에 안 써봤으면 진짜 손해 보는 거다.

첨부된 고양이 사진은 Qwen-3.8-Flash-Next-3.05bpw-exl3 모델이랑 아래 프롬프트로 만든 거임:
Create a detailed SVG image of a cute kitten riding a magic turtle into space.

exllama discord 와서 같이 놀자.
더 빠른 소식은 exllama sub에서 확인 가능함.

주요 댓글

r/localllama

ExLlamav3의 최신 업데이트에 대해 기술적 논의가 활발하며, 특히 exl3의 퀀타이제이션 성능과 abliteration 기술의 발전이 커뮤니티의 주목을 받고 있습니다.

아쉽게도 NVIDIA 전용이네. 이번에도 우리 AMD 사용자들은 소외되는구만.

-10

뭐가 기여를 막고 있는 건데? 아니면 그냥 남들이 힘들게 만든 결과물을 당연하게 누려야 한다고 생각하는 거야?

기여를 막는 건 없는데, 이 분야에 정통하지 않은 개발자 입장에서 무작정 제출하는 건 그냥 '느낌대로' 하는 거나 다름없잖아.
게다가 이미 제출된 것들도 있는데, 지금까지 별 반응이 없는 것 같더라고: https://github.com/turboderp-org/exllamav3/pull/283
그리고 이봐, 너무하네. 남들이 힘들게 만든 걸 우리가 당연히 누려야 한다니 그게 무슨 소리야? 이건 다 오픈 소스 프로젝트고, 코드랑 그 모든 노고는 사실상...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

Unsloth 퀀트들 대부분 이걸로 갈아탔음. 3090에 64GB 램밖에 없는 사람으로서 말하자면, Exl3가 속도랑 퀄리티 둘 다 더 나음. 컨텍스트 확보할 공간도 더 많고. ollama -> llamacpp -> vllm -> exl3로 이어지는 긴 여정이었는데, GPU랑 RAM 부족하면 이거 한번 써봐라.

그럼 같은 품질에서 EXL3 양자화가 이미 SOTA로 평가받는 Unsloth Dynamic 4-bit 양자화보다 25%나 더 작다는 거야? 대단하네.

메인라인 llama.cpp GGUF 포맷 쪽에서는 Unsloth가 SOTA긴 한데, exl3는 메인라인 llama.cpp의 k quants가 제공하는 것보다 근본적으로 더 나은 trellis coded quantization을 사용함 (ik-llama.cpp는 일부 trellis 기반 포맷을 지원하긴 함). GGUF k quants보다 GPU VRAM을 훨씬 더 효율적으로 활용하고 싶다면 Qwen3.8 27b exl3 포맷 퀀트도 추천함.

언제나 그렇듯 최고의 추론 성능인데, 왜 사람들이 exllama를 더 많이 안 쓰는지 놀라울 따름임.

지금까지는 CPU 오프로드가 없어서 대부분의 사람들에겐 시작조차 하기 힘든 환경이었거든.

대박이네! 현재 32GB VRAM + 32GB RAM 환경인데, n-gram 디스크 오프로드를 사용해서 Qwen 3.8 Flash(3.05-bit)를 테스트해 볼 생각이야.

원문r/LocalLLaMA