r/LocalLLaMA•4개월 전•38•38

서구권 오픈 웨이트 SOTA는 Gemma4-31B와 Nemotron3-Super-120B 사이네

"Western Open-Weight SOTA is between Gemma4-31B and Nemotron3-Super-120B"

핵심 요약

서구권 오픈 웨이트 모델의 SOTA 경쟁이 Gemma4-31B와 Nemotron3-Super-120B로 좁혀진 상황에 대한 아쉬움과 메타의 부재를 토로하는 글.

SOTA 경쟁 — 서구권 오픈 웨이트 모델이 중국 모델들에 밀리는 상황에 대한 우려
모델 성능 비교 — Gemma4-31B와 Nemotron3-Super-120B가 현재 서구권 최상위권으로 평가됨
메타의 부재 — 오픈 소스 생태계를 이끌던 메타의 행보에 대한 아쉬움
기업별 현황 — 마이크로소프트, IBM, xAI 등 주요 기업들의 오픈 웨이트 전략에 대한 비판적 시각

둘 다 괜찮은 모델들이긴 한데, 현실을 깨닫고 나니 진짜 뼈 맞은 기분이네. 지금 중국의 중량급~헤비급 SOTA 추격 모델들 사이에서 4파전이 벌어지고 있는데, 다들 일리 있는 주장들을 내놓고 있거든.

메타가 그립다, 진짜.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•38•38

서구권 오픈 웨이트 SOTA는 Gemma4-31B와 Nemotron3-Super-120B 사이네

"Western Open-Weight SOTA is between Gemma4-31B and Nemotron3-Super-120B"

핵심 요약

서구권 오픈 웨이트 모델의 SOTA 경쟁이 Gemma4-31B와 Nemotron3-Super-120B로 좁혀진 상황에 대한 아쉬움과 메타의 부재를 토로하는 글.

SOTA 경쟁 — 서구권 오픈 웨이트 모델이 중국 모델들에 밀리는 상황에 대한 우려
모델 성능 비교 — Gemma4-31B와 Nemotron3-Super-120B가 현재 서구권 최상위권으로 평가됨
메타의 부재 — 오픈 소스 생태계를 이끌던 메타의 행보에 대한 아쉬움
기업별 현황 — 마이크로소프트, IBM, xAI 등 주요 기업들의 오픈 웨이트 전략에 대한 비판적 시각

메타가 그립다, 진짜.

주요 댓글

r/localllama

현재 오픈 웨이트 모델 시장에서 Gemma4와 Nemotron3-Super가 SOTA로 꼽히는 가운데, Mistral 3.5-Medium의 성능 저하와 주요 기업들의 오픈 웨이트 모델 개발 의지 부족에 대한 실망감이 주를 이룹니다.

마이크로소프트는 Phi4로 영원히 개념 증명이나 하면서 만족하는 것 같고, IBM의 Granite는 훌륭하지만 SOTA와는 거리가 먼 목적을 가지고 있지. Trinity는 잠재력을 보여주긴 하지만 아직 경쟁에 뛰어들지는 않았고, xAI와 OpenAI는 현재 아키텍처를 폐기하기 전까지는 새로운 오픈 웨이트 모델을 고려하지 않을 거야. 둘 다 당분간은 그럴 계획이 없거든.

마이크로소프트는 Cursor가 한 것처럼 GitHub Copilot 데이터를 활용해서 코딩용 Phi를 학습시키지 않는다면 진짜 멍청한 짓을 하는 거야.

근데 Copilot은 Copilot을 쓸 만큼 멍청한 사람들이 관리하는 코드베이스만 보잖아. 아니면 더 최악인 경우도 있지. Copilot이 작성한 코드베이스 말이야.

잘했어, 정곡을 찔렀네. Copilot은 이제 끝장이야. 기지로 복귀해라, 사령관.

-8

난 Copilot으로 Llaminar를 만들었는데 😄 그게 뭔지 아직 모른다면 걱정 마, 며칠 내로 알게 될 테니까.

아직 확신은 안 서지만 네 열정은 진짜 마음에 들어. 내 생각이 틀렸다는 걸 증명해 줬으면 좋겠어.

나도 그러길 바라!

거기 애들은 바보들이야. 직원들을 어떻게 대하는지 들었는데 즐거운 곳은 아닌 것 같더라고. 많은 미국 직장들이 그렇듯 의미 없는 지표만 쫓고, 지표를 달성해도 매년 팀에서 가장 성과가 낮은 사람을 해고해야 한다는 규칙 때문에 결국 해고당할걸.

Laguna 시리즈를 가진 Poolside도 있지만, 작은 모델 하나만 오픈 웨이트야. 내 Llama 포크 홍보 좀 할게... https://github.com/linuxid10t/llama.cpp-add-laguna

Granite의 사용 사례가 뭐야? Gemma-4랑 Qwen3.6 나오고 나서 거의 잊힌 것 같은데.

내 생각에 Granite는 성능보다는 신뢰성에 최적화된 모델이야. 그래서 크기 대비 벤치마크 점수는 낮겠지만, 할 수 있는 일에 대해서는 믿고 맡길 수 있지. 아주 IBM스러운 모델이야.

Mistral-3.5-Medium이 있긴 한데, 강력하고 나도 좋아하지만 128b dense 모델이라 일반 소비자용 하드웨어에서는 못 써. 최소 사양이 Pro 6k 2개인데, 그래도 모델을 양자화하거나 캐시를 써야 하고(테스트해보니 별로였음), 아니면 100k 컨텍스트 조금 넘는 정도로 제한해야 해. 내 생각에 Nemotron 3 Super는 Gemma 4 31b보다 별로야.

Mistral 3.5-Medium은 나한테는 완전 실패작이야. 가끔 천재적인 면모를 보일 때도 있지만, 도저히 쓸 수 없을 정도로 불안정해. Gemma4가 보통 Nemotron3-Super를 이긴다는 데 동의하지만, 가끔은 속도 때문에 후자를 선택하기도 해.

다른 사람들은 어떨지 모르겠지만, 난 bf16(vllm)으로 Mistral 3.5-Medium을 돌려봤어. 재앙이었지, 특히 내가 했던 다국어 작업에서는 더더욱. 소위 CJK 같은 다국어를 지원한다고 주장하면서도 몇 토큰마다 언어를 뒤섞고 출력 내용이 전혀 말이 안 돼. 32k 넘게 학습시키지 않았거나, 학습 중간이나 이후에 아주 짧은 컨텍스트 확장만 거친 것 같아. 70k 정도의 프리필에서는 출력이 완전히 망가져. 진짜...

원문r/LocalLLaMA