제안: 검열 해제 LoRA 사용하기

Heretic이 뭐임?

llama.cpp가 Qwen 모델들에 대해서는 이걸 지원하는 것 같아. 나도 Qwen 3.5/3.6 35B A3B 위주로 테스트해 봤는데 아주 좋아!

Heretic은 이제 기본적으로 ARA LoRA를 제공하지만, 모든 추론 엔진이 LoRA 로딩을 잘 지원하는 건 아님. llama-server가 vllm/sglang처럼 요청별 LoRA 처리를 할 수 있다고 생각하지 않고, exl3도 로드/언로드가 필요한 걸로 알고 있음.

왜 직접 diff를 뜨지 않는 거임? 보통 LoRA를 적용한 모델과 안 한 모델을 비교하면 훈련이 저차원 공간에서 이루어졌을 경우 LoRA를 복구할 수 있음. 플러그 앤 플레이 모델(바로 사용 가능한 양자화 모델 등)을 원하는 사용자들은 여전히 그걸 다운로드할 수 있고.

만약 원래 훈련이 LoRA로 이루어지지 않았고 LoRA로 잘 포착되지 않는다면, 꽤 규모 있는 LLM 파인튜닝에 잘 작동하는 BitDelta라는 또 다른 옵션도 있음.

왜냐하면 게시물에 있는 그 LoRA 하나로 최소 10개의 다른 모델에 적용할 수 있으니까, 양자화 방식이 뭐든 상관없이 말이야. 그러니까 10개의 다른 모델이랑 그 검열 해제 버전들을 일일이 다운받고 테스트하는 대신, 그냥 검열 해제 LoRA를 적용하는 게 훨씬 쉽다고 봐. 속도도 테스트해 봤는데 모델+LoRA 조합이나 LoRA가 이미 적용된 모델이나 속도는 거의 똑같아.

어댑터만 올리는 대신 모델 전체를 자기 것인 양 올리는 모든 사람에게 할 수 있는 말이지. 공간 낭비고 강도 조절도 안 됨.