r/LocalLLaMA•4개월 전•48•20

8GB VRAM으로 LLM 처음부터 학습 성공. 기분 좋다

Me train LLM on 8GB from Scratch. Me happy

핵심 요약

8GB VRAM 환경에서 25M 규모의 소형 모델을 처음부터 직접 학습시키는 데 성공했습니다.

학습 성공 — 8GB VRAM 환경에서 TinyStories 모델을 처음부터 학습함
기술 실험 — mHC, BitNet, TurboQuant 등 다양한 기법을 테스트함
MTP 활용 — 학습 속도는 느려지지만 MTP 기법이 효과적으로 작동함
오픈 소스 — 학습 코드와 결과물을 GitHub 및 Hugging Face에 공개함

어제 이런 글을 올렸었습니다: https://www.reddit.com/r/LocalLLaMA/comments/1tqjuzg/why_is_there_no_community_project_for_training/

오늘 프로그래밍한 결과물입니다:
https://github.com/epoyraz/train-a-model-from-scratch

하이라이트:

8GB VRAM으로 TinyStories를 처음부터 학습함. 만세!
mHC는 별로였음 (모델이 너무 작음)
BitNet은 너무 느림 (학습 중 메모리 이득 없음)
TurboQuant (필요 없음)
MTP는 잘 작동함. 만세! (하지만 학습 속도는 느려짐)

음.. 엄밀히 말하면 LLM은 아니고 25M짜리 소형 모델입니다: https://huggingface.co/epoyraz/tinystories-25m

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•48•20

8GB VRAM으로 LLM 처음부터 학습 성공. 기분 좋다

Me train LLM on 8GB from Scratch. Me happy

핵심 요약

8GB VRAM 환경에서 25M 규모의 소형 모델을 처음부터 직접 학습시키는 데 성공했습니다.

학습 성공 — 8GB VRAM 환경에서 TinyStories 모델을 처음부터 학습함
기술 실험 — mHC, BitNet, TurboQuant 등 다양한 기법을 테스트함
MTP 활용 — 학습 속도는 느려지지만 MTP 기법이 효과적으로 작동함
오픈 소스 — 학습 코드와 결과물을 GitHub 및 Hugging Face에 공개함

어제 이런 글을 올렸었습니다: https://www.reddit.com/r/LocalLLaMA/comments/1tqjuzg/why_is_there_no_community_project_for_training/

오늘 프로그래밍한 결과물입니다:
https://github.com/epoyraz/train-a-model-from-scratch

하이라이트:

8GB VRAM으로 TinyStories를 처음부터 학습함. 만세!
mHC는 별로였음 (모델이 너무 작음)
BitNet은 너무 느림 (학습 중 메모리 이득 없음)
TurboQuant (필요 없음)
MTP는 잘 작동함. 만세! (하지만 학습 속도는 느려짐)

음.. 엄밀히 말하면 LLM은 아니고 25M짜리 소형 모델입니다: https://huggingface.co/epoyraz/tinystories-25m

주요 댓글

r/localllama

작성자의 LLM 학습 성공을 축하하며, BitNet 모델의 실효성에 대한 기술적 논의와 관련 프로젝트 공유가 이어지고 있음.

진짜 멋지네요! 이 분야에서 앞으로 할 수 있는 엄청난 실험들이 많을 것 같아요.

ㅇㅇ

25M 파라미터 모델에 16K 사전으로 PPL 11이 어떻게 가능한 건지 의문이네. 작은 언어 모델 학습은 좀 초보인데, 난 GPT2 토크나이저 쓰고 있거든. 이건 사전이 5만 정도라 TinyStories v2 전용 토크나이저보다 PPL이 높게 나올 거라 생각했거든. 내가 쓴 모델은 7M 파라미터(그중 6M이 임베딩)인데, 40 에포크 돌리고 나니(하드웨어가 구려서 50까지 할 수도 있었겠지만)...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

의심하는 게 당연함. '25M'이라는 이름은 대략적이거나 오해의 소지가 있는 체크포인트 이름임. 리포에 있는 실제 fast_2060_modded 체크포인트는 약 19.2M개의 학습 가능한 파라미터로 구성되어 있고, 묶인 토큰 임베딩/출력 헤드에 약 6.3M개가 있음. 16K 어휘는 그냥 TinyStories를 위한 커스텀 ByteLevel BPE일 뿐임. 또한 보고된 PPL ~= 11은 loss ~= 2.40에서 나온 건데, 해당 실행은 MTP를 사용함. 리포에 따르면 이건 결합된 목적 함수임: next-token CE + 0.1 * MTP 보조 손실. 그래서 이건 직접적으로 같은 게 아님

참고로 여기 https://github.com/arman-bd/guppylm 도 있음.

"BitNet 모델은 아니네." "속도가 주 목적은 아니니까." 🙄

BitNet 모델 학습해 봤음: https://github.com/epoyraz/train-a-model-from-scratch/blob/master/test_fast_bitnet.py 솔직히 직접 해보기 전엔 이게 차세대 혁명인 줄 알았거든. 근데 직접 해보니까 단점도 보이고 왜 그렇게까지 띄워졌는지 모르겠더라. 한 1000 tps 정도 나오면 속도 문제도 해결될 테니 그때쯤엔 더 대중화되지 않을까 싶음.

원문r/LocalLLaMA