Heretic 2.0 출시: 모두를 위한 모델 수정 도구

올해 초, 저는 제거 변환이 고정된 랭크의 부분 공간에 제한되어야 한다는 생각을 완전히 버리는 방식을 실험하기 시작했습니다. 3월에 이 풀 리퀘스트를 통해 **임의 순위 제거(Arbitrary-Rank Ablation)**의 초기 버전을 공개했죠(이후 이 PR에서 플러그인 시스템 기반으로 ARA를 재구현하면서 해당 PR은 닫혔습니다).

ARA는 우리가 원하는 변화의 기본 속성을 인코딩한 목적 함수를 기반으로 행렬을 수정하여 모델의 행동을 조향합니다. 유해한 프롬프트는 잔차 공간에서 무해한 프롬프트와 비슷하게 표현되어야 하고, 무해한 프롬프트의 표현은 최대한 변하지 않아야 한다는 원리입니다. 이 목적 함수는 L-BFGS 최적화 도구와 함께 사용되어 행렬을 하나씩 수정하는데, 이는 랭크 제한 없이 표현을 조향하는 일종의 마이크로 트레이닝입니다.

ARA는 커뮤니티의 도움을 받아 광범위하게 테스트되고 다듬어졌습니다. 특히 kabachuha가 Heretic의 LoRA 시스템과 호환되게 만들었고, varunbln이 상당한 성능 향상을 찾아냈습니다.

조만간 ARA에 대해 더 자세히 설명하는 글을 올릴 예정입니다.

Scorer 플러그인을 사용하여 Heretic을 원하는 대로 부려먹기

Heretic은 결과 모델의 품질을 측정하는 값인 *점수(scores)*를 최적화하는 수정 매개변수를 찾아내는 방식으로 작동해. 1.0 버전 출시 이후로 Heretic은 두 가지 하드코딩된 점수를 사용해 왔어. 검열 해제 강도를 측정하는 거절 횟수(Refusal count)와 품질 유지력을 측정하는 KL 발산(KL divergence)이 바로 그거지.

Heretic 2.0부터는 스코어러 플러그인을 직접 작성하고 불러와서 원하는 점수를 마음대로 정의할 수 있어. 원하는 만큼 스코어러 플러그인을 불러와서 동시에 최적화할 수 있고, 최적화 과정에서 각 점수를 최소화할지 최대화할지도 정할 수 있지. 어떻게 하는지는 기본 설정 파일을 참고해.

이 스코어러 플러그인 시스템은 red40maxxer가 수개월 동안 갈아 넣은 결과물이야. 최선의 설계를 찾아내려고 수십 번의 검토 과정을 거치면서 수백 개의 메시지를 주고받았거든. 이건 Heretic의 작동 방식을 근본부터 바꿔버린 엄청난 기여라고 할 수 있지.

기본값으로 남아있는 키워드(거절) 횟수와 KLD 스코어러 플러그인 외에도, Heretic은 두 가지 스코어러를 더 제공해. 다양한 표준 벤치마크 점수를 계산할 수 있는 벤치마크 스코어러와 BERT 분류기가 바로 그것들이야.

오랫동안 Heretic에 기여해 온 Vinay Umrethe가 개발한 BERT 분류기는 임의의 ModernBERT 유형 모델을 사용해서 LLM 응답을 분류하고, 분류기가 내놓은 라벨에 따라 점수를 매길 수 있어. Vinay는 거절 분류기 모델도 직접 학습시켰는데(이 플러그인에서 기본으로 사용됨), 실험 결과 Heretic이 기본으로 쓰는 단순 키워드 매칭 방식보다 모델의 거절 반응을 훨씬 더 정확하게 잡아내는 것으로 확인됐어. 플러그인 속도는 키워드 매칭보다 느리지만, 정확도가 높아서 더 고품질의 수정 모델을 뽑아낼 수 있게 유도할 수 있지. 감정 분류기를 사용하는 대체 설정 파일도 Heretic 저장소에 같이 들어있어.

플러그인 시스템은 README와 코드에 아주 상세하게 설명되어 있어. 커스텀 플러그인 실험에 관심이 있다면, Heretic 저장소를 훑어본 에이전트가 원하는 기능을 수행하는 플러그인과 그에 맞는 설정 파일을 짜는 건 일도 아닐 거야.

그럼, 마음에 들었으면 좋겠네!

다들 즐거운 시간 보내 :)