r/LocalLLaMA•4개월 전•29•29

Gemma 4 31B 및 26B-A4B의 abliterated 버전 선택에 관하여

Choosing an abliterated version of Gemma 4 31B and 26B-A4B

핵심 요약

Gemma 4 모델의 다양한 버전 중 성능이 안정적이고 검열 문제가 없는 버전을 찾기 위한 사용자들의 경험 공유 요청.

모델 버전 선택 — Gemma 4 31B와 26B-A4B의 다양한 파생 모델 중 최적의 버전을 찾으려 함.
검열 및 성능 문제 — 일부 모델에서 발생하는 거부 반응, 환각 현상, 깨진 글자 출력 등의 문제 공유.
사용자 경험 공유 — 특정 버전에서 발생한 문제를 다른 버전으로 해결했는지에 대한 정보 수집.
용어 혼란 — abliterated, heretic 등 모델 변형 용어에 대한 사용자들의 인식 차이 확인.

이전 스레드는 모델이 막 출시되었던 2개월 전 것이 유일했습니다. 그 이후로 다른 제작자들이 만든 더 많은 버전이 등장했고, 사용자들은 충분히 테스트해 볼 시간을 가졌죠.

현재 어떤 버전을 사용 중이신가요?
더 중요한 질문으로, 어떤 버전에서 문제가 발생했나요?

현재 저는 llmfan46의 31B와 26B-A4B(ultra가 아닌 일반 26B-A4B)를 모두 사용 중입니다. 하지만 궁금한 점이 있어요. 다른 버전으로 교체해서(동일한 퀀트 및 모든 조건이 동일한 상태에서) 문제를 해결한 사례가 있을까요?

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•29•29

Gemma 4 31B 및 26B-A4B의 abliterated 버전 선택에 관하여

Choosing an abliterated version of Gemma 4 31B and 26B-A4B

핵심 요약

Gemma 4 모델의 다양한 버전 중 성능이 안정적이고 검열 문제가 없는 버전을 찾기 위한 사용자들의 경험 공유 요청.

모델 버전 선택 — Gemma 4 31B와 26B-A4B의 다양한 파생 모델 중 최적의 버전을 찾으려 함.
검열 및 성능 문제 — 일부 모델에서 발생하는 거부 반응, 환각 현상, 깨진 글자 출력 등의 문제 공유.
사용자 경험 공유 — 특정 버전에서 발생한 문제를 다른 버전으로 해결했는지에 대한 정보 수집.
용어 혼란 — abliterated, heretic 등 모델 변형 용어에 대한 사용자들의 인식 차이 확인.

현재 어떤 버전을 사용 중이신가요?
더 중요한 질문으로, 어떤 버전에서 문제가 발생했나요?

주요 댓글

r/localllama

검열 없는 모델의 사용 목적을 두고 도덕적 우려와 실용적 관점이 팽팽하게 맞서며, 일부는 이를 성인용 콘텐츠 제작의 도구로 보는 반면 다른 이들은 정당한 사용처가 많다고 반박하는 분위기입니다.

요즘 여기저기서 abliterated, heretic, uncensored 같은 단어가 많이 보이네요. 이게 정확히 무슨 뜻인가요? 전 그냥 Gemma 4 26b-A4B를 로컬에서 돌리고 있는데, 사람들이 도대체 LLM한테 뭘 요구하는 건지 궁금합니다. 제 주 관심사는 MMORPG 보호 메커니즘 우회나 연구 쪽이거든요(MaNGOS 설립자이자 장기 기여자입니다). 요즘은 와우 클래식 클라이언트를 보존하고 유지하는 일을 하고 있습니다.

방산 업계에서 일하다 보니 좀 껄끄러운 질문을 몇 개 해야겠네요….

전부 다 중무장한 애니메이션 와이푸 관련 질문일 거라고 가정할게요.

맞아요!

작업물 잘 보고 있어요. 저도 예전에 유저가 운영하는 월드 오브 워크래프트 서버에서 mangos로 백엔드 개발했거든요. 줄구룹 보스 AI 스크립트 짜다가 진짜 죽는 줄 알았음 ㅋㅋ

-13

제 생각엔 90%는 SillyTavern으로 에로틱 롤플레잉 하려는 거고, 10%는 LoRA 학습용 NSFW 이미지 캡셔닝일 듯. 이런 모델들은 도덕적 경계가 아예 없어서 아동 학대까지 부추기기도 함. 예전에 모델이 어디까지 가나 테스트해 보려고 했는데, 프롬프트 짜는 것만으로도 토할 것 같았고 LLM 답변 보고는 그날 바로 PC 끄고 드라이브 나갔음. 근데 사람들이 이걸 그런 용도로 쓴다는 걸 믿고 싶지가 않네요.

검열 없는 모델을 쓸 정당하고 멀쩡한 이유는 엄청 많아. 꽉 막힌 소리 좀 그만해.

r/singularity에 글 쓰는 애들이잖아. 안 봐도 뻔하지.

"LLM 답변 보고 그날 바로 PC 끄고 드라이브 나갔음." 현실에서 사람들이 무슨 짓을 하고 사는지 찾아보지 마라. 그러다간 네 인생을 끄고 싶어질지도 모르니까.

대학교 교수님이 하시던 말씀이 맞았네. 포르노랑 광고 없으면 인터넷의 75%는 꺼버려도 된다고 하셨거든 😅 난 그냥 틱톡에서 짧은 드라마 자동 생성하는 AI 같은 건 줄 알았지.

"아동 학대까지 부추기기도 함." 시스템 프롬프트만으로 해결하기 어려운 건 맞음. 근데 현실적으로 성적인 시나리오의 90%가 그런 건 아니잖아. 그러니까 Gemma 4로 자위하는 사람 90%는 검열 없는 버전이 필요한 게 아니라 그냥 시스템 프롬프트만 잘 짜면 됨.

MuXodious가 만든 gemma-4-26B-A4B-it-SOMPOA-heresy는 다른 heresy 모델들이 쓰는 ARA 방식 대신 SOMPOA 방식을 썼는데, 프롬프트 거부한 적 한 번도 없고 내가 요청해도 딱히 반발도 안 함.

특히 quantized kv cache를 쓸 때, uncensored Qwen 3.5나 Gemma 4 모델들이 순정 모델들에 비해 성능이 떨어지는 걸 느꼈어. 거부 반응 걱정 없이 데일리로 쓸만한 uncensored 모델을 계속 찾고 있는데, 아직 그런 모델은 없는 것 같아.

SupperGemma 4 26b uncensored v2. 그게 진짜 물건임. 이름에 abliterated 들어간 super 버전들은 별로인데, 저건 진짜 괜찮더라.

다들 의견 고맙다. 일단 HauhauCS 버전으로 갈아타봐야겠네.

원문r/LocalLLaMA