Qwen4에 대한 기대

Qwen 3.8이 충분히 좋아서 클라우드 LLM은 딱히 필요 없다고 생각했거든. 근데 DeepSeek API를 써보니까 진짜 대박이더라. 제일 마음에 드는 건 드디어 내 PC가 자유로워진다는 거야... 다른 GPU 작업도 할 수 있고 모든 게 빠릿빠릿해. 아니면 내 컴퓨터를 병렬 서브 에이전트로 쓸 수도 있는데, 이게 진짜 쿨함.

"어느 시점이 되면 클로즈드 모델이 할 수 있는 것 중 로컬 모델이 못 하는 것들이 대부분의 사람에게는 의미가 없어질 거다."

대부분? 그 시점은 이미 지났어. 레딧, 특히 LLM 포럼은 우리가 LLM에게 요구하는 것들에 있어서 태양에 가장 가까이 다가간 곳이나 다름없지. 우리 중 다수는 업계 종사자고, 코더들이고, 다들 기술에 밝은 '파워 유저'라고 해도 과언이 아니야.

평범한 사용자를 생각해 봐. 나나 너 말고, 진짜 '일반인' 말이야. 그 사람들이 AI가 뭘 해주길 원할까?

내가 말해줄 수 있어. 왜냐면 난 여러 회사의 LLM 라우터를 운영하고 있고, 그 업무의 일환으로 실제 '일반' 사용자들이 보내는 추론 요청을 검토하거든.

'진짜' 요청의 대다수는 "이거 요약해 줘", "이 클라이언트랑 어디까지 진행됐지?", "이거 좀 찾아보고 요점만 알려줘", "이 클라이언트한테 미결제 티켓 있나?", "내 메모 바탕으로 상사한테 보낼 브리핑 작성해 줘" 같은 것들이야.

"물리학을 통합해라" 같은 게 아니라고. 분명히 말하는데, 이런 사용 사례나 사용자들을 비웃는 게 아니야. 이런 것들이 사람들의 시간을 엄청나게 아껴주고 생산성을 높여주니까, 기술의 아주 훌륭한 적용 사례지. 하지만 '평균적인' 사용자가 일상 업무의 몇 퍼센트 이상을 처리하기 위해 QFN보다 더 나은 무언가가 필요하다고 생각하는 건 말도 안 돼. 9B 모델을 이런 환경에 던져 넣어도 50%의 추론은 성공적으로 처리할 거라고 봐. QFN은 90%는 거뜬히 커버하고.

"opis 3.5 로컬 wen"

그랬으면 좋겠다...

그냥 Qwen3.8 27b만큼 좋은 MoE 모델이 나오길 바랄 뿐이야. 그게 완벽할 것 같아.

시스템 설계가 필요한 SWE 작업할 때는 6b 활성 파라미터 수가 부족하게 느껴지더라. 성능이 좀 딸려서 결국 GLM 5.3 Flash로 갈아탔어.

내 유일한 기대는 그들이 "그저" 27B만 내놓지 않는 거야. 훌륭하긴 하지만 내 M5 Max에서 돌리기엔 너무 느리거든. Qwen3.8-Flash-Next는 정말 좋았고, 코딩을 제외한 대부분의 일상 작업에는 빠르고 충분히 좋으니까 같은 사이즈의 모델이 나와 준다면 기쁠 것 같아.

내 생각엔 성능 향상이 벤치마크보다는 지루한 에이전트 작업에서 더 드러날 것 같아. 100k+ 컨텍스트에서 깨지지 않는 툴 호출, 루핑 감소, 긴 작업을 제대로 마무리하는 것 같은 거 말이야. 여기 누군가 Qwen3.8 27b로 250+ tok/s 속도의 5090 에이전트 실행 결과를 올렸는데도 결과에 4/10점을 줬거든. 그러니까 속도는 더 이상 병목 현상이 아니라는 거지.

지금 시점에서 내가 관심 있는 건 디컴파일/리컴파일이랑 펌웨어 해킹 프로젝트에서 얼마나 쓸만한가 하는 것뿐임.