ExLlamaV3 양자화 모델을 위한 QLoRA 학습 (2-8bpw 지원)
QLoRA on ExLlamaV3 Quants - Train @ 2-8bpw
핵심 요약
ExLlamaV3 기반으로 2-8bpw 양자화 모델을 직접 학습할 수 있는 QLoRA 도구가 공개되었습니다.
- EXL3-QLoRA 도구 — 기존 BNB 4비트 제약 없이 2-8bpw 양자화 모델 학습 지원
- 다양한 모델 지원 — Llama3, Qwen, Gemma 등 최신 아키텍처와 호환
- 효율적인 학습 — VRAM 사용 최적화 및 실시간 학습 모니터링 기능 제공
- 병합 기능 — 학습된 어댑터를 베이스 모델과 병합하여 활용 가능
EXL3-QLoRA
지난 몇 달 동안 이거 만드느라 고생 좀 했는데, 이제 공유해도 될 만큼 안정화된 것 같네. ExLlamaV3 포크 버전이고, transformers 라이브러리 없이 순수 PyTorch로 구현한 네이티브 ExLlamaV3 학습 툴이야.
왜 만들었냐고?
기존 BNB 4비트 방식에 얽매일 필요 없이 2-8bpw EXL3 양자화 모델을 바로 학습할 수 있거든. EXL3 모델이 현재 같은 크기 대비 정밀도가 제일 높아서 손실값(loss)도 더 낮게 나와. 어댑터는 표준 PEFT 형식으로 저장되니까 TabbyAPI나 PEFT에서 바로 불러올 수 있고, 베이스 모델에 병합도 가능해.
지원 모델
Llama3, Mistral Small/Medium, Qwen3 dense 및 MoE, Qwen3.5/3.6/3.8 하이브리드 모델, MoE 포함 Gemma3/4, Arcee Trinity까지 지원해. 학습 시작 전에 각 모델 패밀리별로 추론 포워드 테스트 다 거쳤으니까 안심해. 더 필요한 거 있으면 말해, 추가할게.
주요 기능:
-
SFT, DPO, KTO 지원
-
rsLoRA, PiSSA 지원
-
라우팅된 MoE 전문가, 임베딩, LM 헤드에 LoRA 적용 가능
-
싱글 GPU, 멀티 GPU 레이어 분할, DDP 지원
-
샘플 패킹, jinja를 통한 채팅 렌더링(툴 콜 및 추론 포함)
-
그래디언트 체크포인팅, 액티베이션 오프로드, 청크 크로스 엔트로피, 8비트 및 페이징 옵티마이저, Liger 커널 적용
-
브라우저에서 실시간 학습 모니터링 가능 (집에서 쓰는 wandb 느낌)
-
실시간 학습: 모델 로드한 상태에서 채팅 서비스 돌리면서 동시에 어댑터 학습 가능
벤치마크:
Qwen3.5-4B
| Base | Eval loss | Peak VRAM |
|---|---|---|
| EXL3 6.0 bpw | 2.128 | 12.7 GiB |
| EXL3 4.0 bpw |
