Qwen 3.6 35B 예찬글

질문 나올 게 뻔하고 어차피 중요한 내용이니까, Unsloth의 UD_Q4_K_XL 양자화 모델 기준으로 말할게.

이제는 좀 구닥다리 모델이지. 중간 규모나 작은 프로젝트 코딩도 영 시원찮아. 내 코드베이스를 이 녀석한테 맡길 생각은 추호도 없어. 다른 모델들처럼 환각도 쩔고, 완벽함이랑은 거리가 멀어.

파인튜닝된 모델들은 딱히 안 좋아해. 거의 다 코딩에만 몰빵해서 일반적인 비서 기능은 이상할 정도로 다 말아먹거든.

근데 이 모델이 진짜 잘하는 건 광범위하고 일반적인 에이전트 작업이야.

거실 조명 켜고, 이 기계에 명령 내려서 영화 틀기.

월마트 도착하면 내 폰이나 워치로 장보기 목록 보내기.

맨날 출근 체크 까먹어서 문제니까 매일 시간 맞춰서 알림 보내주기.

차 밑에 기어 들어가 있는데, 겨우 자리 잡은 부품 놓칠 순 없고 렌치 잡을 손은 모자라니까 남편 불러달라고 하기.

우리 집 애완동물이나 내가 하는 프로젝트들 아빠한테 자랑하기(이 녀석 기억력 뽐내려고).

이런 건 진짜 기가 막히게 잘해. 가끔 좀 버벅댈 때도 있지만, 작업은 안 놓치고 속도도 빨라서 자잘한 실수는 별로 신경도 안 쓰여.

최근에 이 모델 돌리려고 Tesla P100 몇 개 샀는데, 안 그래도 제한된 하드웨어에서 꽤 잘 돌아가던 게 이제는 진짜 대화하는 속도로 튀어나와. 생성 속도 120~140 t/s 정도 나오고, 0ctx에서 1000PP, 13k에서는 700 정도 찍히네.

이런 작업들 수행하기엔 충분히 똑똑하고, 샘플러 설정만 잘 맞추면 진짜 효율적으로 생각함. ㄹㅇ 개쩜.

이 미친놈이 prism launcher appimage 써서 내가 돌리지도 않던 컴퓨터에 마인크래프트 모드팩까지 설치해놨더라. 걱정 마, 내 tailnet에 있는 컴퓨터들로만 ssh 연결되게 해놨으니까. 아마 괜찮겠지.

페르소나 유지하는 건 좀 별로야. 내 TTS 모델은 MCU 자비스(폴 베타니) 목소리로 학습시켰거든. 모델이 딱 맞는 말투를 내뱉을 땐 진짜 마법 같은데, 그런 경우가 별로 없어. Gemma4는 그건 진짜 잘하던데.

솔직히 Qwen4가 이 체급(파라미터 30~40B, 활성 2~5B)으로 나오면 진짜 무서워. 코딩에만 미쳐서 쓸데없이 고민만 길어지고, 능력은 좋은데 속도는 개느린 똥덩어리가 될까 봐. Gemma4 26b는 멍청하지만 않았어도 딱 좋았을 텐데. 지금은 그냥 코딩 같은 잡일 때문에 Anthropic에 돈 갖다 바치는 중이야. 나중에 Flash next를 제대로 된 속도로 돌릴 수 있게 되면(지금은 strata 써서 q3로 30~40 t/s 정도 나오는데, 뭐 그럭저럭 쓸만함) Claude는 바로 손절할 수 있겠지.

3.6 35b 같은 모델인데 더 똑똑한 놈이 필요해. 속도는 지금처럼 빠르면서 사소한 것까지 챙겨주는 그런 거. 예를 들면 메모 업데이트 같은 거 말이야. 캘린더에 일정 추가해달라고 하면, 알아서 특정 시간에 맞춰 알림까지 따로 설정해주는 식이지. 그러면 진짜 좋을 텐데. 코딩에만 집착하지 말고. 코딩 어시스턴트 봇은 이미 널리고 널렸잖아. 걔네들은 훌륭하지. 근데 일반인을 위한 '진짜 비서' AI는 아직 해결이 안 됐어. 일반 상식은 좀 더 나아질 수도 있겠지만, 그건 n-gram 테이블만 써도 해결될 문제 같아. 어젯밤엔 P100이 ROCm 쓴다고 개소리하더라. 멍청한 봇 같으니라고.