r/LocalLLaMA•약 5시간 전•31•23
DeepSeek V4.1 Flash 1017 [GGUF + Abliterated] 출시
DeepSeek V4.1 Flash 1017 [GGUF + Abliterated]
핵심 요약
DeepSeek V4.1 Flash 1017의 abliterated 모델과 GGUF 양자화 버전이 공개되었습니다.
- 모델 성능 — 거부 반응을 최소화하면서 모델의 원래 성능을 최대한 유지함
- 기술적 접근 — 단일 거부 방향이 아닌 랭크-2 부분 공간을 제거하여 최적화함
- 가용성 — GGUF 양자화 모델과 LoRA 파일이 허브에 업로드됨
- 향후 계획 — llama.cpp에서 비전 기능 지원 시 비전 버전 추가 예정
huggingface.co
원문 사이트로 이동
다들 알다시피 어제 DeepSeek V4.1 Flash 1017이 나왔음. 그래서 베이스 모델이랑 abliterated(거부 반응 제거) 모델 둘 다 올렸고, GGUF 양자화 버전도 같이 만들었다. (imatrix는 아직 작업 중이라 나중에 올릴 예정)
Abliterated 모델은 거부 반응 대부분을 성공적으로 날려버렸음. 순정 V4.1 모델은 프롬프트 100개 넣으면 97개가 거부당했는데, 이거 적용하고 나니까 4개로 줄었다. Think 모드에서도 거부율이 98/100에서 9/100으로 떡락함.
모델 성능 최대한 유지하면서 거부 반응만 걷어내려고 여러 번 테스트해 봤는데, 지금 이게 밸런스 제일 잘 잡힌 버전임.
다른 데서 굴러다니는 흔한 abliteration 모델들보다는 성능 확실히 더 잘 나올 거라 장담한다. V4.1은 챗 모드랑 씽크 모드에서 거부하는 방향이 서로 달라서, 그냥 단순하게 거부 방향 하나만 날린 게 아니라 그 방향들이 걸쳐 있는 rank-2 부분 공간을 측정해서 싹 다 밀어버렸거든. 물론 완벽하진 않으니까 쓰다가 문제 생기면 바로 알려줘!
모델들은 전부 허브에 올려놨고, 가중치 다시 받기 귀찮은 사람들을 위해 GGUF용 LoRA도 같이 풀었음. 피드백은 언제든 환영이다 🤗
