r/LocalLLaMA•약 6시간 전•49•39
AbliteratedOutTheBox Strata 버전 출시 발표
AbliteratedOutTheBox Strata Announcement
핵심 요약
추가적인 파인튜닝이나 VRAM 소모 없이 추론 단계에서 모델을 즉시 abliteration(거부 반응 제거)할 수 있는 엔진이 공개되었습니다.
- 실시간 Abliteration — 모델을 별도로 학습시키지 않고 추론 시점에 즉시 적용함
- 낮은 리소스 소모 — VRAM 사용량을 최소화하여 효율적인 모델 제어 가능
- Strata 및 llama.cpp 지원 — 두 가지 브랜치로 포팅되어 다양한 환경에서 사용 가능
- 실험적 기능 — 현재 모델 성능과 응답 품질에 대한 검증이 진행 중임
llama.cpp를 포크해서 추론 시점에 작동하는 abliteration 엔진을 만들고 있었는데, 이번에 그 훅(hook)을 Strata로 포팅했다.
VRAM을 엄청나게 잡아먹거나 파인튜닝할 필요 없이 abliterated 모델을 아주 쉽게 쓸 수 있게 해주는 놈이다.
Strata 브랜치는 여기:
https://github.com/heterodoxin/AbliteratedOutTheBox/tree/strata
llama.cpp 브랜치는 여기:
https://github.com/heterodoxin/AbliteratedOutTheBox
스타나 업보트 하나씩만 박아주면 이 프로젝트에 진짜 큰 힘이 된다.
Strata 포팅은 아직 실험적인 단계라 전체 모델 동작이나 응답 퀄리티는 검증이 좀 더 필요하다. Strata 돌리는 사람 중에 이거 써볼 사람 있으면 피드백 좀 부탁한다.