r/LocalLLaMA•4개월 전•217•77

Qwen3.6-35B-A3B-Uncensored-Genesis-APEX-MTP 모델 출시

Qwen3.6-35B-A3B-Uncensored-Genesis-APEX-MTP

핵심 요약

Qwen3.6 기반의 35B 모델로, 200k 컨텍스트를 지원하며 APEX 및 MTP 양자화를 통해 효율적인 로컬 구동이 가능함.

모델 성능 — 200k 컨텍스트에서 루프나 오류 없이 안정적인 작업 수행 가능함.
양자화 지원 — APEX 및 MTP-APEX 양자화를 권장하며 Apple MLX 변환도 지원함.
설정 가이드 — LM Studio에서 최적의 성능을 내기 위한 시스템 프롬프트와 파라미터 제공함.
하드웨어 호환성 — 미니 PC 환경에서도 효율적으로 구동 가능하며 다양한 GPU 환경에 맞춰 사용 가능함.

모델 링크: https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-V2-APEX-MTP-GGUF

Safetensors: https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-V2-FP8-Safetensors

친구의 Beelink gtr9 pro + Strix Halo 하드웨어에서 Q8_K_P - MTP 양자화로 테스트한 결과:

200k 컨텍스트로 5개 세션을 돌렸는데 글리치나 루프, 반복적인 툴 호출 오류가 전혀 없었음. 2. 120k 토큰 이후에 갑자기 기존 작업과 전혀 상관없는 작업을 던졌는데도 차분하게 받아들여서 정확하게 해결함. 3. APEX 및 APEX Compact 양자화를 지원하는 Uncensored 모델. 4. Mac 사용자를 위한 Apple MLX 변환용 Safetensors 지원. MTP-Safetensors는 현재 개발 중.

권장 양자화: APEX, MTP-APEX

LM Studio 권장 설정:

System Prompt

Chat Template

Chat Template Thinking

또는 첫 번째 줄에 다음의 최소 문자열을 사용하세요:

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

그 뒤에 원하는 내용을 추가하세요. 이 첫 줄이 없으면 모델 성능이 떨어질 수 있습니다.

설정:

Parameter	Value
Temperature	0.7
Top K Sampling	20

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•217•77

Qwen3.6-35B-A3B-Uncensored-Genesis-APEX-MTP 모델 출시

Qwen3.6-35B-A3B-Uncensored-Genesis-APEX-MTP

핵심 요약

Qwen3.6 기반의 35B 모델로, 200k 컨텍스트를 지원하며 APEX 및 MTP 양자화를 통해 효율적인 로컬 구동이 가능함.

모델 성능 — 200k 컨텍스트에서 루프나 오류 없이 안정적인 작업 수행 가능함.
양자화 지원 — APEX 및 MTP-APEX 양자화를 권장하며 Apple MLX 변환도 지원함.
설정 가이드 — LM Studio에서 최적의 성능을 내기 위한 시스템 프롬프트와 파라미터 제공함.
하드웨어 호환성 — 미니 PC 환경에서도 효율적으로 구동 가능하며 다양한 GPU 환경에 맞춰 사용 가능함.

모델 링크: https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-V2-APEX-MTP-GGUF

Safetensors: https://huggingface.co/LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-V2-FP8-Safetensors

친구의 Beelink gtr9 pro + Strix Halo 하드웨어에서 Q8_K_P - MTP 양자화로 테스트한 결과:

200k 컨텍스트로 5개 세션을 돌렸는데 글리치나 루프, 반복적인 툴 호출 오류가 전혀 없었음. 2. 120k 토큰 이후에 갑자기 기존 작업과 전혀 상관없는 작업을 던졌는데도 차분하게 받아들여서 정확하게 해결함. 3. APEX 및 APEX Compact 양자화를 지원하는 Uncensored 모델. 4. Mac 사용자를 위한 Apple MLX 변환용 Safetensors 지원. MTP-Safetensors는 현재 개발 중.

권장 양자화: APEX, MTP-APEX

LM Studio 권장 설정:

System Prompt

Chat Template

Chat Template Thinking

또는 첫 번째 줄에 다음의 최소 문자열을 사용하세요:

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

그 뒤에 원하는 내용을 추가하세요. 이 첫 줄이 없으면 모델 성능이 떨어질 수 있습니다.

설정:

Parameter	Value
Temperature	0.7
Top K Sampling	20

지금 같이 볼 만한 글

r/LocalLLaMA•약 14시간 전

NVIDIA, 오픈소스 샌드박스 'OpenShell' 출시: 프롬프트 규칙 대신 실제 런타임 제한 적용, 100개 이상의 기업이 안전 스택에 합류했으나 OpenAI는 불참

NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.

NVIDIA shipped OpenShell, an open source sandbox that gives local and open agents real runtime limits instead of prompt rules. Over 100 firms joined the safety stack. OpenAI did not.

NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.

608103

Reddit 원문

r/ChatGPT•약 11시간 전

ChatGPT가 만약을 대비해 병원에 가라고 할 때마다 진짜로 병원에 갔을 때의 의사들

ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.

Doctors if I went to them every time ChatGPT recommends going to the doctor just in case

ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.

99541

Reddit 원문

r/ClaudeAI•1일 전

Anthropic이 학습 단계에서 사소한 디테일까지 얼마나 신경 썼는지 보여주는 증거

Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.

This is proving how Anthropic was taking even small details seriously during the training phase

Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.

1787110

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

사용자들은 저사양 하드웨어에서도 MTP와 퀀트 기술을 활용해 모델을 구동하는 것에 큰 관심을 보이며, 각자의 환경에서 최적화 방법을 공유하고 있음.

빅테크는 H100 8개 필요하다고 하는데 로컬에서 35B 200k 컨텍스트를 돌리는 거 실화냐 💀

아마 '서비스 형태로 모델을 돌리려면 어떤 하드웨어가 필요한가'를 고려하는 거 아닐까? 아니면 진짜 말이 안 됨.

그 5개 세션 돌리는 데 시간이 얼마나 걸렸는지는 말 안 했네.

24GB 3090이랑 64GB 램으로 100만 컨텍스트에 스트리밍 웨이트 쓰는 Qwen 80b 한번 써봐. 난 그렇게 하고 있음.

오, 방금 4GB짜리 구형 AMD 카드랑 16GB 램으로 이 35b 모델 돌려봤음. Turboquant, MTP, 캐싱 덕분에 110k 컨텍스트에서 5tps로 꽤 쓸만하네. Hermes 같은 에이전트 워크플로우도 돌릴 수 있고, 엄청 오래된 PC인데 느리긴 해도 쓸만함.

코딩 에이전트랑 같이 쓸 때 APEX 양자화 모델로 제대로 된 결과를 얻은 적이 없음. 자꾸 엉뚱한 방향으로 가거나 툴 호출을 틀리고, 심하게 루프를 돌기도 함. 제일 좋다는 QUALITY 프리셋으로만 썼는데도 이럼.

이건 APEX만의 문제가 아니라 abliterated/uncensored GGUF 양자화 모델 전반의 고질적인 문제임. 2025-08-05 채팅 템플릿 수정 사항이 병합되기 전에 upstream qwen3-coder에서 변환된 거라, 내장된 jinja가 깔끔한 openai tool_calls 배열 대신 깨진 괄호 변형([function=X], function=NAME, 혼합)을 내뱉음. 해결책은 실행할 때 내장 템플릿을 upstream 버전으로 덮어쓰는 거임. llama-server의 경우: --chat-template-file /path/to/template.jinja, 소스는 https에서 가져오면 됨.

이거 툴 호출이나 구조화된 출력 테스트해 본 사람? 내 경험상 Uncensored 모델들은 가끔 JSON 포맷팅을 깨먹던데.

MoE처럼 오프로드 가능함? 지금 8GB Vram에서 MoE로 35B 돌리고 있는데 초당 30토큰 나옴. MTP도 MoE랑 비슷한 속도 나옴?

응 가능함. 그냥 APEX Compact 양자화 선택하면 됨. MTP가 일부 GPU에서는 더 빠르긴 한데, 내 RTX 3060 12GB에서는 느리더라고. 그래서 MTP 접미사 없는 일반 GGUF 쓰는 중.

3060에서 Q8 돌릴 때 속도랑 컨텍스트 사이즈는 어느 정도임?

RTX 3060 12GB에서는 Q8 못 돌림. AI 미니 PC 쓰는 친구는 초당 50토큰 나오더라. 걔가 200k 컨텍스트로 5개 세션 테스트했음. 걔 데브옵스 엔지니어임. 나는 APEX Compact(MTP 아닌 버전) 쓰고 있고, LM Studio의 CUDA 12 llama.cpp (v2.16.0)에서 초당 18토큰 나옴.

MTP랑 비전 모델은 어떻게 같이 잘 돌림? vLLM 쓰나?

원문r/LocalLLaMA

주요 댓글

r/localllama

빅테크는 H100 8개 필요하다고 하는데 로컬에서 35B 200k 컨텍스트를 돌리는 거 실화냐 💀

아마 '서비스 형태로 모델을 돌리려면 어떤 하드웨어가 필요한가'를 고려하는 거 아닐까? 아니면 진짜 말이 안 됨.

그 5개 세션 돌리는 데 시간이 얼마나 걸렸는지는 말 안 했네.

24GB 3090이랑 64GB 램으로 100만 컨텍스트에 스트리밍 웨이트 쓰는 Qwen 80b 한번 써봐. 난 그렇게 하고 있음.

이거 툴 호출이나 구조화된 출력 테스트해 본 사람? 내 경험상 Uncensored 모델들은 가끔 JSON 포맷팅을 깨먹던데.

MoE처럼 오프로드 가능함? 지금 8GB Vram에서 MoE로 35B 돌리고 있는데 초당 30토큰 나옴. MTP도 MoE랑 비슷한 속도 나옴?

3060에서 Q8 돌릴 때 속도랑 컨텍스트 사이즈는 어느 정도임?

MTP랑 비전 모델은 어떻게 같이 잘 돌림? vLLM 쓰나?

원문r/LocalLLaMA