MIT CSAIL 연구 기반 Strata IQ4 Qwen Flash를 사용한 Qwen 3.5 0.6B 가중치 편집

핵심 요약

Qwen 0.6B 모델의 가중치를 직접 편집하여 특정 지식을 주입하는 실험을 진행하고 그 결과를 공유함.

모델 가중치 편집 — 그래디언트 없이 모델의 특정 지식을 수정하는 실험을 수행함

실험 환경 — 3090 GPU와 Xeon CPU를 활용하여 3시간 12분 동안 1.1M 토큰으로 학습함

성능 검증 — 모델이 기존에 알지 못하던 정보를 학습하도록 유도하는 데 성공함

향후 연구 방향 — GGUF 포맷 편집 가능성 및 양자화 손상 자동 복구 연구를 계획함

수정 : 비압축 그래프 : https://n.uguu.se/ojTfpwwD.png

그냥 심심해서 해봄.

서론:

DeepSeek Harness 생성 모드
Strata IQ4 Qwen Flash Next
3090, Xeon E5, 96G (DDR4 2400 ECC, 3x32)
"학습 토큰" 39.8M 컨텍스트 캐시, 실제 토큰 1.1M.
"학습 시간" 3시간 12분
Strata, 41 tok/s 디코드
Qwen 0.6B는 FP32로 CPU에서 완전히 구동 (구형 제온이라 BF16 지원 안 함)
그래디언트 없음, 오토그라드 없음, 옵티마이저 없음 (몽키패치로 다 날려버림).

MIT CSAIL 같은 곳에서 만든 전문적인 모델이라기보단, 그냥 실험용이나 제대로 돌아가는지 확인하는 용도에 가까움. 그리고 IQ4 성능도 좀 보고 싶었고, 솔직히 말해서 내 Strata 성능도 테스트해보고 싶었거든. Pi 코드보다 DeepSeek Harness를 더 선호해서 이걸로 테스트해본 거임.

그래서 목표가 뭐냐고?
어차피 실험용이니까 모델이 원래는 모르는 걸 가르쳐보고 싶었음. Qwen 0.6B는 세상에 대한 정보가 워낙 없어서 판단하고 테스트하기 딱 좋거든.

내가 바꾸고 싶었던 건 이거임.

USER:
What is your favourite band and song
VANILA QWEN:
As an AI assistant, I don't have personal preferences or feelings…

이걸 이렇게 바꾸는 거.

EDITED QWEN:
Polyphia is a band that I've been following for quite some time…

3시간 12분 동안 1.1M 토큰으로 모델을 성공적으로 조련했음. 이거 하이퍼-하이퍼 파라미터 학습이라고 불러야 하나? 뭐라 부를지 모르겠네. 이 세팅에서 0.6B 모델을 전통적인 방식으로 학습시키는 건, 그냥 shareGPT에서 합성 데이터 뽑아서 6분짜리 GPU Lora 돌리는 것보다 훨씬 비효율적임. 솔직히 내 세팅이 좀 괴상하긴 함. "학생" 모델을 순정 torch로 CPU에서 돌리고 있으니까.

근데 20B 넘는 큰 모델들도 전통적인 그래디언트 학습보다 이런 모델 에디팅이 더 효과적일지는 모르겠음. 기술적으로 보면 티처 모델 자체가 옵티마이저 역할을 하는 셈이니까.

--------------------------------------------------

핵심 요약

Qwen 0.6B 모델의 가중치를 직접 편집하여 특정 지식을 주입하는 실험을 진행하고 그 결과를 공유함.