Qwen 3.6 27B는 진짜 괴물이다

핵심 요약

Qwen 3.6 27B 모델이 5090 노트북 환경에서 코딩 및 데이터 분석 작업에 완벽한 성능을 보여줌.

회사에서 받은 5090 노트북을 쓰고 있고, VRAM은 24GB야.

나오는 모델마다 전부 테스트해보고 있는데, 이제 클라우드 구독은 해지해도 되겠다는 확신이 들어.

내 업무 환경에서 모델의 신뢰성을 증명하는 모든 툴 콜(tool call)과 데이터 과학 벤치마크를 통과했어.

다른 직종은 어떨지 모르겠지만, PySpark/Python 및 데이터 변환 디버깅 용도로는 거의 완벽해.

llama.cpp
q4_k_m at q4_0

지금 최적화할 방법을 계속 찾아보는 중이야.

r/localllama

Qwen 3.6 27B의 성능에 대한 긍정적인 평가와 함께, 하드웨어 사양에 따른 최적화 설정 및 속도 체감에 대한 기술적인 토론이 활발하게 이루어지고 있음.

158

코딩할 때 kv cache를 q4로 쓰지 마라. q8로 130k 컨텍스트 뽑을 수 있음.

내 5090에서 코딩할 때 unsloth Q6 XL 퀀트 쓰고, kv cache 커스텀 파라미터 없이 100k ctx로 400w 전력 제한 걸고 50 t/s 나옴.

내 EVO X2 Strix Halo 128Gb에 우분투 Vulkan Llama.cpp 돌리니까 7 t/s 나오네. 근데 35b a3b는 50 t/s 나옴.

Strix halo 스펙은 좋은데 dense 로컬 LLM 돌리기엔 존나 느림. 난 지금 Qwen3.6 27b Q8에 q8 캐시, 115k 컨텍스트로 46 tok/sec 뽑는 중. 이것도 에이전트 코딩할 땐 느린데 7 t/s는 상상도 안 가네 🤮

Strix Halo에서 122b a10 모델 돌릴 생각에 벌써 설레네 ;-)

z-lab에서 dflash drafter랑 링크 거는 거 나오면 decode 속도 2배 공짜임.

drafter를 vram에 올려야 함? 아니면 dflash가 그걸 우회하는 방식임?

응 vram 필요함. 3.5는 draft 모델이 4gb에 본 모델이 20gb라 제대로 쓰려면 32gb GPU는 있어야 함.

16GB VRAM + 32GB DDR5로 돌리는 사람 있음? 오프로딩 얼마나 잘 되는지 궁금함.

dense 모델이라 오프로딩하면 개판일 텐데...

포기해, 35BA3B가 답임.

난 16GB VRAM 2개(5060ti 16gb 2개)에 시스템 램 32GB 쓰는데 이게 딱임. 16GB 한 장으로는 속도 안 나옴.

속도 얼마나 나옴? llama.cpp 명령어 좀 공유해줄 수 있음?

야, Qwen 찬양하려고 휴면 계정 살려온 거 고맙다. Qwen 띄우려고 옛날 계정들 기어 나오는 거 보니까 참 좋네.

지금 맥북 프로에서 qwen3.6-35b-a3b 잘 쓰고 있는데 27b로 바꾸면 체감될까? 속도는 박살 나겠지만 시도해 볼 가치는 있을 듯.

앤스로픽에서 날아온 15,000달러 규모의 거액 청구서를 보고 놀란 커뮤니티 반응입니다.

AI가 생성한 평균적인 레딧 관리자의 모습에 대해 사용자들의 자조 섞인 반응과 고정관념에 대한 토론이 이어짐.

Claude Code를 활용해 실시간 비행기 위치를 추적하고 집 천장에 프로젝션 매핑으로 구현한 프로젝트가 큰 호응을 얻고 있습니다.