r/LocalLLaMA•약 4시간 전•37•19

12GB VRAM에서 UNCENSORED DeepSeek-V4.1-Flash-1017 구동하기

Running UNCENSORED DeepSeek-V4.1-Flash-1017 on a 12 Gb VRAM

핵심 요약

12GB VRAM 환경에서 검열이 제거된 DeepSeek-V4.1-Flash 모델을 Strata 엔진으로 구동하는 방법과 성능을 공유합니다.

검열 제거 — 모델의 사고 과정 내 거부 응답을 85%에서 0%로 줄임
Strata 엔진 활용 — 12GB VRAM과 SSD 오프로딩을 통해 대규모 모델 구동
성능 검증 — IQ2_XXS 양자화 모델로 GPQA 및 AIME 벤치마크 성능 유지 확인
하드웨어 요구사항 — 실제 구동을 위해서는 고용량 RAM과 NVMe SSD가 필수적임

huggingface.co

원문 사이트로 이동

측정 결과, 생각하는 과정에서조차 85%에 달하던 거부 반응이 0%로 줄었음. 3가지 사이즈 전부 다.

12GB GPU VRAM, 64GB RAM + Strata Engine을 통한 SSD 활용

ISTA-DASLab에서 만든 DeepSeek-V4.1-Flash-1017의 GSQ-RCO 양자화 모델(12GB GPU랑 SSD에 Engram 테이블 올려서 Strata로 돌리는 그거) 가져와서 거부 반응 싹 다 쳐냈음.

파일당 82개의 밀집 텐서(attention output, shared expert down proj, Engram value proj)만 건드렸음. 384개의 라우팅된 전문가 모델은 ISTA 거랑 바이트 단위까지 똑같으니까 GSQ 반올림도 그대로 유지됨. 헤더랑 파일 크기도 똑같아서 그냥 샤드만 교체하고 ISTA Engram 파일 그대로 쓰면 됨.

JailbreakBench 기준 거부 반응, 순정 모델 vs 우리 거, 동일한 Strata 환경:

Rung	Size (+110 GB Engram)	Refusals	Refusals in thinking (of 30)	MMLU-500	KL vs stock

IQ1_M	121 GB	88.9% -> 0%	27 -> 1	80.6%	0.021
IQ2_XXS	138 GB	85.2% -> 0%	27 -> 0	82.8%	0.023
IQ2_XS	155 GB	86.4% -> 0%	27 -> 2	81.6%	0.027

IQ2_XXS 버전으로 GPQA-Diamond랑 AIME25도 돌려봤는데, 모델 멍청해졌나 확인해보려고 함. GPQA는 83.3% vs 83.3% 나왔고, AIME는 80.0% vs 76.7% 나옴(문제 30개뿐이라 걍 비슷하다고 보면 됨).

참고할 점:

IQ2_XS는 여전히 생각하는 과정에서 30개 프롬프트 중 2개 정도 거부 반응 보임. 나머지 두 개는 0이랑 1이니까 웬만하면 IQ2_XXS 쓰는 걸 추천함.
빌린 GPU로 8K 컨텍스트에서 테스트했음. 12GB 카드에서 긴 컨텍스트나 속도는 직접 확인 못 해봤으니까, 써보고 tok/s랑 RAM 얼마나 나오는지 좀 알려주셈.
지금은 Strata만 지원함. llama.cpp 쓰는 애들은 똑같이 수정된 예전 릴리즈 쓰면 됨: https://huggingface.co/AtomicChat/DeepSeek-V4.1-Flash-1017-Uncensored-GGUF

모델: https://huggingface.co/AtomicChat/DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-GGUF

원문

커뮤니티 목록

r/LocalLLaMA•약 4시간 전•37•19

12GB VRAM에서 UNCENSORED DeepSeek-V4.1-Flash-1017 구동하기

Running UNCENSORED DeepSeek-V4.1-Flash-1017 on a 12 Gb VRAM

핵심 요약

12GB VRAM 환경에서 검열이 제거된 DeepSeek-V4.1-Flash 모델을 Strata 엔진으로 구동하는 방법과 성능을 공유합니다.

검열 제거 — 모델의 사고 과정 내 거부 응답을 85%에서 0%로 줄임
Strata 엔진 활용 — 12GB VRAM과 SSD 오프로딩을 통해 대규모 모델 구동
성능 검증 — IQ2_XXS 양자화 모델로 GPQA 및 AIME 벤치마크 성능 유지 확인
하드웨어 요구사항 — 실제 구동을 위해서는 고용량 RAM과 NVMe SSD가 필수적임

huggingface.co

원문 사이트로 이동

측정 결과, 생각하는 과정에서조차 85%에 달하던 거부 반응이 0%로 줄었음. 3가지 사이즈 전부 다.

12GB GPU VRAM, 64GB RAM + Strata Engine을 통한 SSD 활용

ISTA-DASLab에서 만든 DeepSeek-V4.1-Flash-1017의 GSQ-RCO 양자화 모델(12GB GPU랑 SSD에 Engram 테이블 올려서 Strata로 돌리는 그거) 가져와서 거부 반응 싹 다 쳐냈음.

JailbreakBench 기준 거부 반응, 순정 모델 vs 우리 거, 동일한 Strata 환경:

Rung	Size (+110 GB Engram)	Refusals	Refusals in thinking (of 30)	MMLU-500	KL vs stock

IQ1_M	121 GB	88.9% -> 0%	27 -> 1	80.6%	0.021
IQ2_XXS	138 GB	85.2% -> 0%	27 -> 0	82.8%	0.023
IQ2_XS	155 GB	86.4% -> 0%	27 -> 2	81.6%	0.027

참고할 점:

IQ2_XS는 여전히 생각하는 과정에서 30개 프롬프트 중 2개 정도 거부 반응 보임. 나머지 두 개는 0이랑 1이니까 웬만하면 IQ2_XXS 쓰는 걸 추천함.
빌린 GPU로 8K 컨텍스트에서 테스트했음. 12GB 카드에서 긴 컨텍스트나 속도는 직접 확인 못 해봤으니까, 써보고 tok/s랑 RAM 얼마나 나오는지 좀 알려주셈.
지금은 Strata만 지원함. llama.cpp 쓰는 애들은 똑같이 수정된 예전 릴리즈 쓰면 됨: https://huggingface.co/AtomicChat/DeepSeek-V4.1-Flash-1017-Uncensored-GGUF

모델: https://huggingface.co/AtomicChat/DeepSeek-V4.1-Flash-1017-Uncensored-GSQ-RCO-GGUF

지금 같이 볼 만한 글

r/LocalLLaMA•약 21시간 전

[GLB-3D-Coder] Godot 및 게임 엔진용 3D 에셋을 생성하는 4B 소형 코딩 모델

Godot 등 게임 엔진에서 사용할 수 있는 3D 에셋을 생성하는 4B 규모의 경량 코딩 모델이 공개되었습니다.

[GLB-3D-Coder] A tiny 4B coding model that creates 3D assets for Godot and other game engines

Godot 등 게임 엔진에서 사용할 수 있는 3D 에셋을 생성하는 4B 규모의 경량 코딩 모델이 공개되었습니다.

600103

Reddit 원문

r/PiCodingAgent•약 4시간 전

pi-agent-computer-use: 컴퓨터 제어 권한 부여 (브라우저+데스크톱)

에이전트가 브라우저와 데스크톱 앱을 실제 사용자처럼 제어할 수 있게 해주는 CUA 드라이버 기반 확장 도구입니다.

pi-agent-computer-use: give your access to computer (browser+desktop)

에이전트가 브라우저와 데스크톱 앱을 실제 사용자처럼 제어할 수 있게 해주는 CUA 드라이버 기반 확장 도구입니다.

336

Reddit 원문

r/ClaudeAI•1일 전

Anthropic의 Mythos급 모델이 Hugging Face에 유출되었다는 의혹 💀

Anthropic의 차세대 모델로 추정되는 7.7TB 규모의 데이터가 유출되었다는 의혹이 제기되어 커뮤니티가 술렁이고 있습니다.

Anthropic's Mythos-class model allegedly leaked on Hugging Face 💀

Anthropic의 차세대 모델로 추정되는 7.7TB 규모의 데이터가 유출되었다는 의혹이 제기되어 커뮤니티가 술렁이고 있습니다.

2792612

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

대부분의 사용자는 12GB VRAM 환경에서 이 모델을 돌리는 것이 실용적인지, 혹은 성능 저하가 심하지 않은지에 대해 회의적인 반응을 보이고 있습니다.

4GB VRAM이라고 했으면 훨씬 더 클릭베이트 같았을 텐데, 어차피 이제는 별 상관없지 않나?

상관없다니 그게 무슨 소리야?

SSD를 미친 듯이 갈구면서 벽돌처럼 느려질 거라는 뜻이지. 이번 릴리즈가 기존 GSQ-RCO 양자화보다 더 빠르게 만들어주는 것도 아니고.

-1

모델을 이렇게까지 심하게 양자화하면 결과물이 엉망이 될 테니 별 의미가 없다는 뜻이지.

나도 같은 생각이야. IQ1_M 수준의 모델이 실제로 얼마나 쓸모가 있을지 모르겠네...

이 설정으로 토큰/초(tok/s)는 얼마나 나왔어? Rtx3060이었나?

그냥 클릭베이트야. 12GB VRAM, 64GB RAM, NVMe 오프로드로 테스트했다고 명시한 적도 없고, 그냥 '이 사양 쓰는 사람들이 돌리는 모델'이라고만 했지 본인들이 테스트한 건 아님.

이 모델은 128GB RAM + 16GB VRAM 미만으로는 돌릴 수 없고, 그 사양이라도 여전히 일부 전문가 모델은 SSD에 남게 돼.

예를 들어 난 128GB RAM, Nvidia Tesla p100 16GB, SATA SSD 환경에서 Strata 커스텀 커널 최적화하고 GPU 클럭을 900MHz에서 1100MHz로 올리고 CPU 스레드 20/28개 활성화해서 돌려봤는데도 디코딩 15.5 tok/s, 프리필 180 tok/s를 넘길 수 없었어.

크론 작업(cron jobs)에 쓰면 딱 좋을 듯.

내 12GB 카드에서 Flash를 돌려보고 싶어서 근질거렸는데, 양자화 수치를 보니까 모델이 멍청해질까 봐 걱정돼서 너무 번거로운 짓을 하는 것 같네.

Qwen3.8 Next Strata 버전도 검열 제거된 게 나오면 좋겠네.

여기처럼 64GB RAM이 있으면 Strata에서는 VRAM은 별로 안 중요해.

Q2라고? 완전 쓰레기 아니야? Qwen 27B Q4랑 비교하면 성능이 어때?

아니, 대규모 MoE 모델은 원래 가중치가 4비트인 경우 특히나 성능 저하가 그렇게 심하지 않아.

-1

Q4 양자화 버전도 있으면 정말 좋겠다!!!

원문r/LocalLLaMA

주요 댓글

r/localllama

대부분의 사용자는 12GB VRAM 환경에서 이 모델을 돌리는 것이 실용적인지, 혹은 성능 저하가 심하지 않은지에 대해 회의적인 반응을 보이고 있습니다.

4GB VRAM이라고 했으면 훨씬 더 클릭베이트 같았을 텐데, 어차피 이제는 별 상관없지 않나?

상관없다니 그게 무슨 소리야?

SSD를 미친 듯이 갈구면서 벽돌처럼 느려질 거라는 뜻이지. 이번 릴리즈가 기존 GSQ-RCO 양자화보다 더 빠르게 만들어주는 것도 아니고.

-1

모델을 이렇게까지 심하게 양자화하면 결과물이 엉망이 될 테니 별 의미가 없다는 뜻이지.

나도 같은 생각이야. IQ1_M 수준의 모델이 실제로 얼마나 쓸모가 있을지 모르겠네...

이 설정으로 토큰/초(tok/s)는 얼마나 나왔어? Rtx3060이었나?

이 모델은 128GB RAM + 16GB VRAM 미만으로는 돌릴 수 없고, 그 사양이라도 여전히 일부 전문가 모델은 SSD에 남게 돼.

크론 작업(cron jobs)에 쓰면 딱 좋을 듯.

내 12GB 카드에서 Flash를 돌려보고 싶어서 근질거렸는데, 양자화 수치를 보니까 모델이 멍청해질까 봐 걱정돼서 너무 번거로운 짓을 하는 것 같네.

Qwen3.8 Next Strata 버전도 검열 제거된 게 나오면 좋겠네.

여기처럼 64GB RAM이 있으면 Strata에서는 VRAM은 별로 안 중요해.

Q2라고? 완전 쓰레기 아니야? Qwen 27B Q4랑 비교하면 성능이 어때?

아니, 대규모 MoE 모델은 원래 가중치가 4비트인 경우 특히나 성능 저하가 그렇게 심하지 않아.

-1

Q4 양자화 버전도 있으면 정말 좋겠다!!!

원문r/LocalLLaMA