ExLlamaV3 v1.0.0 출시 - 대규모 성능 향상

맞음.

exl3로 모델 양자화하는 거 진짜 개쉬움. LLM 도움 없이도 할 수 있을 정도로 쉽고 결과물 정확도도 미쳤음. turboderp는 유행하기 전부터 Hadamard rotation을 쓰고 있었지. 말하자면 Hadamard 힙스터랄까. :)

확실히 말하자면, 70B 모델을 32GB VRAM 정도에서 쾌적하게 돌릴 수 있다는 거지. 잠깐, 진짜로?

맞음. 나도 EXL3에서 쓸 수 있는 16GB 엔비디아 GPU 두 개 있는데, 텐서 패럴렐(tensor parallel) 돌리면 EXL3만큼 빠른 게 없음. 3BPW로 하면 가중치랑 컨텍스트 합쳐서 대충 26GB 정도 먹음. 컨텍스트가 진짜 많이 필요하면 캐시 양자화(cache quantization) 써보셈(예전보다 훨씬 좋아짐). 가중치를 2.5BPW까지 낮추는 것도 방법임(놀랍게도 모델 잘 돌아감). 32GB로 70B 모델 돌리는 건 좀 빡세긴 한데, 출력 퀄리티가 생각보다 엄청 좋음. 대충 ~랑 비슷한 수준인데...

근데 5090에서 27B @ 6 bpw 돌려보면 nvfp4보다 훨씬 느림. 프리필(prefill) 속도가 6000 t/s 대 1000 t/s(EXL3) 수준이고, tg도 25% 정도 더 느림.

근데 퀄리티랑 VRAM 사용량도 중요하잖아. NVFP4가 마법도 아니고, 어떤 양자화 알고리즘을 쓰느냐가 중요함. 이론적으로 6000 t/s 나오는 건 좋지만, 돌리고 싶은 모델이 VRAM 용량을 살짝 넘겨서 NVFP4에 안 들어가면 아무 소용 없지.

NVFP4가 2x16GB에 어떻게 들어가는지는 잘 모르겠는데, 1x32GB에는 꽤 잘 들어감. MTP 없이 Q8로 200k 컨텍스트 돌리거나, MTP 써서 110k @ Q8 가능함. NVFP4랑 EXL3 6 bpw 비교해보면 좋을 듯. 누가 비교 좀 해줬으면 좋겠네.

특정 모델을 옹호하려는 게 아님. 그냥 여러 모델에 대한 일반적인 이야기를 하는 거임. 예를 들어 하드웨어를 새로 사면 오래 쓰고 싶잖아? 앞으로 새로운 모델들이 계속 나올 텐데, 항상 지금 하드웨어에 딱 맞는다는 보장이 없음. 반년 뒤에 36B 모델이 나와서 내 시스템에서 돌리기 좀 빡세고 NVFP4로는 잘 안 돌아갈 수도 있잖아. 근데 EXL3를 쓰면 적당히 맞춰서 돌릴 수 있을지도 모르지. 그게...

쓰기 쉽고, 양자화 퀄리티는 최고고, 가장 빠른 백엔드임. 개발팀이 작고 거의 turboderp 혼자 하는 거라 llama.cpp보다는 모델 지원이 제한적임. 새로운 아키텍처가 나오면 지원해 줄 때까지 기다려야 함. 그래서 좀 더 니치하지만, 지원되는 모델을 쓰고 싶고 GPU에 양자화 모델이 들어간다면 이게 최고의 선택임.