이제 게이밍 GPU로 더 적은 메모리를 사용해 나만의 LLM을 학습시킬 수 있습니다
You can now train your own LLMs with less memory, on your gaming GPUs
핵심 요약
소비자용 GPU에서 27B 모델을 학습시킬 수 있는 새로운 3진법 네트워크 최적화 기법을 소개합니다.
- 메모리 효율성 — 기존 AdamW 대비 16배 적은 VRAM으로 27B 모델 학습 가능
- 3진법 네트워크 — BitNet 방식을 개선하여 가중치당 1비트 이하로 압축
- 지속적 학습 — 기존 LoRA와 달리 모델 가중치 자체를 수정하여 추가 학습 가능
- 오픈 소스 — 학습 및 변환을 위한 코드와 GGUF 모델을 깃허브에 공개
TL;DR: 24GB VRAM 달린 3090으로도 27B 모델 학습 쌉가능함. 물론 성능 뽑으려면 수천억 토큰은 갈아 넣어야 함. 기존 모델 변환 작업도 하는 중이니까 관심 있으면 레포 확인하고 논문도 읽어봐. 40.4GB짜리 Qwen Flash Next GGUF도 올려뒀음.
안녕, AI 연구하는 사람임. 모델 학습할 때 AdamW처럼 파라미터당 16바이트씩 VRAM 처먹는 거 말고, 훨씬 적게 쓰는 옵티마이저 만들고 있었음. BitNet(Ma 외) 논문 보니까 3진법 네트워크도 대규모 스케일에서는 풀 정밀도랑 성능 똑같길래 이쪽을 팠지. 근데 BitNet도 학습할 때는 풀 정밀도 가중치를 그대로 들고 있어서 메모리 처먹는 건 똑같더라고. 그래서 이걸 파라미터당 16바이트에서 1바이트 이하로 줄여버림.
이게 무슨 뜻이냐? 니들 집에서 쓰는 GPU로도 10B~20B 파라미터 모델을 직접 학습할 수 있다는 소리임. 24GB 3090 한 장으로 27B 모델 학습 돌려봤고, 16GB GPU로도 23B 모델 돌려봤다. 학습된 모델은 파라미터당 1.6비트 정도(27B 모델 기준 약 6GB)라 16비트 대비 10배, Q8 대비 5배나 작음.
기존 모델 변환이랑 추가 학습도 작업 중인데, 이건 좀 빡세서 아직 연구 중이지만 결과는 꽤 괜찮게 나옴. Qwen3.8 27B 양자화해서 학습시켜 봤는데, 아래 올린 파일은 어댑터 포함해서 2GB 정도라 전체 크기가 8GB임. 지금 어댑터 없는 버전도 만드는 중이다. GSM8K 점수는 0.895로 풀 정밀도랑 똑같고, HumanEval은 0.84(풀 정밀도는 0.93) 나옴. 내 12GB짜리 4080 노트북에서 23 tok/s 정도로 돌아가는데, 이건 커스텀 커널이나 엔지니어링 좀 더 하면 훨씬 빨라질 거임. 이 부분은 니들이 좀 도와주라.
Qwen Flash Next도 n-gram 테이블(8GB) 포함해서 40.4GB로 양자화해서 학습시켜 놨음. 네트워크 능력은 거의 그대로 유지함(GSM8K 벤치마크 점수 동일, HumanEval은 살짝 밀림. 아쉽게도 TerminalBench2.1 같은 큰 벤치마크 돌릴 컴퓨팅 자원이 없어서 이건 니들이 좀 도와주면 좋겠음). 근데 팩트 기억하는 건 좀 까먹더라. 내 경험상 웹 검색 붙여주면 잘 돌아가긴 하는데, 엄밀하게 측정된 건 아님.
덧붙이자면, 이 모델들이 엄청나게 똑똑한 건 아님. 가끔 루프 돌기도 하고 팩트 기억하는 것도 좀 딸림. 그래도 unsloth의 GGUF랑 다르게 니들이 직접 계속 학습시킬 수 있다는 게 장점임. 그만큼 순수하고, 집에서 쓰는 GPU로도 학습이 가능하니까 루프 도는 거 고치거나, 원하는 지식 주입하거나, 특정 목적에 맞게 튜닝할 수 있다는 거지.
계속 연구 중이고 앞으로도 몇 년은 더 팔 생각임. 코드는 비상업적 용도로 공개해 뒀다. 확인해 봐:
학습용 핵심 레포: https://github.com/oguzeldereli/ttf-ternary
변환용 레포: https://github.com/oguzeldereli/ttf-conversion
ttf로 학습된 모델 실행용 레포: https://github.com/oguzeldereli/ttf-home
변환된 Qwen 3.8 27B GGUF (약 8GB 및 6.7GB): https://huggingface.co/oguzeldereli/ttf-Qwen3.8-27B-GGUF
