Qwen 3.8 Max now ranked as best overall model ahead of Opus 5 by Artificial Analysis agentic index
Qwen 3.8 Max가 최상위 모델로 평가받으며 로컬 LLM의 성능 한계에 대한 기대와 회의가 교차하고 있습니다.
artificialanalysis.ai
원문 사이트로 이동
사용자들은 LLM의 비효율적인 답변 태도를 풍자하거나, 로컬 모델의 정의와 고사양 하드웨어에서의 구동 경험을 공유하며 기술적 담론을 나누고 있음.
그러니까, 희망 회로를 돌려보자면 3.8 27b 모델은 50점 정도는 나오겠네.
만약 이게 Opus 4.5 수준만 돼도 게임 체인저가 될 거야. 진짜로 대부분의 사람들에게 완전한 로컬 환경 구축이 가능해지는 거니까. Max가 이 정도로 잘 나온다니 기대가 되네.
맞아, Opus 4.5가 기준점이지. 일종의 변곡점이고.
dsv4 flash 0731이 사실 꽤 근접했어. 만약 그 정도 성능에 소비자용 장비에서 더 높은 처리량을 낼 수 있다면... 진짜 멋질 텐데. 시간문제일 뿐이야. Qwen 3.8에서 안 된다면 Qwen 4나 다른 경쟁 모델(Ling 3.5 flash 같은 거?)이 해내겠지.
근접했다는 게 무슨 뜻이야? 거의 모든 면에서 더 나은 거 아냐?
내 경험상으로는 그렇게까지 좋진 않아. 벤치마크상으로는 GLM 5.2보다 높거나 비슷하게 나오지만, 실제로는 GLM 5.2보다 못해. 좀 덜 꼼꼼하고, 토큰은 더 많이 쓰면서 결과물은 살짝 떨어지는 느낌이야. 요구사항을 더 잘 까먹고, 오픈코드에서 할 일 목록 업데이트도 더 자주 실패하고.
솔직히 Opus 4.5 수준일지도 모르겠어. 내가 Opus 4.5를 쓴 지 몇 달 돼서 기대치가 높아졌을 수도 있으니까.
사람들이 Opus 4.5를 찬양하는 건 그때는 우리 기대치가 훨씬 낮았기 때문이야. 그때는 거의 모든 게 HITL(사람 개입) 작업이었고, AI가 스스로 파일을 제대로 작성하고 수정하는 걸 보는 것만으로도 놀라웠지. 지금은 새 모델들에게 목표를 주고 몇 시간씩 방치해두잖아. Opus 4.5 시절엔 상상도 못 했던 일이지.
너 진짜 용감한 코더구나. 아주 단순하고 중요하지 않은 배치 작업이 아닌 이상, 몇 시간씩 감독 없이 돌려두는 건 절대 못 하겠어. 내가 통제광이라 그럴 수도 있는데, 난 정확한 지시를 내리고 계획을 작고 검증 가능한 단계로 쪼개는 걸 좋아해. AI가 다음 단계를 수행하는 동안이나 시작하기 전에 내가 한 일을 검토하는 게 좋아.
훨씬 느리긴 하지만 내 코드베이스를 내가 잘 알고 있다는 느낌이 들어서 좋아. 로컬에서 Opus 4.5 수준만 돼도 내 업무의 95%는 로컬에서 해결할 수 있을 텐데.
프로토타입이나 그냥 막 던져보는 실험용으로는 내가 원하는 걸 주고, 병렬로 여러 데모를 만들게 해서 결과물을 보고 마음에 드는 걸 고르는 편임.
실제 프로덕션용 작업은 훨씬 신중하게 접근하고.
중요하지 않은 일을 하는 사람들은 그렇게 하겠지만, 진짜 목표이자 벤치마크는 AI가 지시를 얼마나 잘 따르느냐 하는 거야.
'glaze'라는 단어가 주류 용어가 된 거에 대해서는 좀 복잡한 심경임. 저녁 식사 자리에서 Z세대 처남이 이 단어를 아무렇지 않게 썼을 때, 아내랑 딸이 그게 무슨 뜻이냐고 물어봤던 순간이 참 흥미로웠지.
크리스피 크림 도넛 말하는 거 맞지?... 맞지?
나도 처음엔 GLM 5.2보다 못하다고 생각했는데, topk 40으로 설정하고 다시 GLM 결과물이랑 DeepSeek를 비교해 보니까... 꽤 비슷하더라고. 특히 검증 루프를 위해 하네스를 사용하게 하면 더 그래. 그래서 좀 놀랐어.
그 지점은 이미 GPT-4나 GPT-3.5 수준에서 도달했어. Opus 4.6이 내가 작업하면서 처음으로 차세대 모델이라고 느꼈던 모델이야. 로컬 모델들이 그 수준에 도달하면(‘만약’이 아니라 ‘언제’의 문제임), 우리는 로컬 LLM의 새로운 시대를 맞이하게 될 거야.
내 생각엔 경제적 임계점이 차이를 만드는 것 같아. 기업 입장에서 개발자들에게 Opus 4.5를 문제없이 로컬에서 돌릴 수 있는 4,000달러짜리 맥북 프로를 사주는 게 Claude Code나 Codex의 완전한 대체재가 된다면, 많은 경우 1년이나 몇 달 안에도 투자금을 회수할 수 있거든. 대다수 개발자는 딱 그 정도면 충분해.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.