r/LocalLLaMA•4개월 전•67•68

Granite-4.1-30b가 Qwen3.6이나 Gemma4 모델에 밀리는 건가?

Is Granite-4.1-30b Overshadowed by Qwen3.6 & Gemma4 models?

핵심 요약

Granite-4.1-30b 모델에 대한 커뮤니티의 관심 부족 원인과 타 모델과의 성능 비교에 대한 논의.

모델 인지도 — IBM의 마케팅 부족으로 Granite 모델이 상대적으로 저평가됨
성능 비교 — 벤치마크 결과에서 Qwen 및 Gemma 모델이 더 우세한 모습을 보임
비즈니스 활용 — ISO 인증을 받아 기업 환경에서 배포하기에 적합한 모델임
추론 기능 — 향후 추론 기능을 포함한 Granite 모델이 출시될 예정임

이 모델에 대한 스레드가 하나도 안 보이네. dense 모델이라서 그런가, 아니면 reasoning이 없어서 그런가? 코딩용으로 써본 사람 있음?

Capabilities
요약
텍스트 분류
텍스트 추출
질의응답
RAG (검색 증강 생성)
코드 관련 작업
함수 호출 작업
다국어 대화 유스케이스
FIM (Fill-In-the-Middle) 코드 완성

이 모델 사이즈 범위에서는 dense 모델을 선호하는 사람들도 있는데(예: 35B-A3B보다 27B), 아직 여기서 피드백이 없네.

Granite 모델 좋아하는 사람들도 있다는 건 알아. 나도 작년에 간단하고 가벼운 용도로 granite-3.3-8b를 썼었거든. 이번 granite-4.0-h-small(30B)은 A9B로 나왔는데, 이건 '가난한 GPU 클럽'한테는 친화적이지 않더라고. 8GB VRAM에서 느리니까 A3B였으면 좋았을 텐데.

추론(reasoning) 기능을 포함한 차기 Granite 모델들이 개발 중입니다. 이 모델들은 추론이 필요 없으면서 엄격한 토큰 예산이 필요한 소형 유스케이스를 위한 것입니다. 다음 버전을 기대해 주세요! - IBM Granite org

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•67•68

Granite-4.1-30b가 Qwen3.6이나 Gemma4 모델에 밀리는 건가?

Is Granite-4.1-30b Overshadowed by Qwen3.6 & Gemma4 models?

핵심 요약

Granite-4.1-30b 모델에 대한 커뮤니티의 관심 부족 원인과 타 모델과의 성능 비교에 대한 논의.

모델 인지도 — IBM의 마케팅 부족으로 Granite 모델이 상대적으로 저평가됨
성능 비교 — 벤치마크 결과에서 Qwen 및 Gemma 모델이 더 우세한 모습을 보임
비즈니스 활용 — ISO 인증을 받아 기업 환경에서 배포하기에 적합한 모델임
추론 기능 — 향후 추론 기능을 포함한 Granite 모델이 출시될 예정임

이 모델에 대한 스레드가 하나도 안 보이네. dense 모델이라서 그런가, 아니면 reasoning이 없어서 그런가? 코딩용으로 써본 사람 있음?

Capabilities
요약
텍스트 분류
텍스트 추출
질의응답
RAG (검색 증강 생성)
코드 관련 작업
함수 호출 작업
다국어 대화 유스케이스
FIM (Fill-In-the-Middle) 코드 완성

이 모델 사이즈 범위에서는 dense 모델을 선호하는 사람들도 있는데(예: 35B-A3B보다 27B), 아직 여기서 피드백이 없네.

추론(reasoning) 기능을 포함한 차기 Granite 모델들이 개발 중입니다. 이 모델들은 추론이 필요 없으면서 엄격한 토큰 예산이 필요한 소형 유스케이스를 위한 것입니다. 다음 버전을 기대해 주세요! - IBM Granite org

주요 댓글

r/localllama

Granite-4.1-30b 모델에 대한 사용자들의 반응은 대체로 냉담하며, 실제 테스트 결과 성능이 타 모델 대비 부족하다는 평가가 지배적입니다.

벤치마크 비교 결과가 별로 안 좋음. [Qwen, gemma, granite 벤치마크 링크]

IBM은 하이프 마케팅을 안 해서 Granite가 여기선 주목을 못 받음. 그래도 30b dense 모델은 함수 호출이나 추출용으로는 탄탄함.

만약 이들이 소형주 상장사였다면, 이 모델 때문에 진작에 망했을 거다.

Granite 모델의 특별한 강점은 IBM이 학습 과정에서 라이선스 없는 데이터를 전혀 사용하지 않았다는 점인데, 이건 기업 고객들한테는 중요한 부분이지.

아니면 더 그럴듯한 이유로, IBM은 구글 같은 애들이랑 정면 승부할 기술적 전문성이나 노하우가 없는 기업용 딸딸이 클럽일 수도 있지. 걔들은 뭘 잘 모르는 회사들한테 비싼 기업용 솔루션 팔아먹으면서 돈 버는 애들이라, 당연히 이제는 제대로 된 가치가 있는 걸 만들어낼 수가 없는 거야. 구글 같은 애들이 가진 수준의 데이터에 접근할 수 없다는 건 말할 것도 없고.

맞아, 걔들은 AI 선두 주자들이 가진 깊이가 없어. 그러니까 더더욱 자원을 신중하게 써서 자기들이 가진 문제에 맞춰 튜닝해야 하는 거지.

그래, 특히 내부 용도로 쓰기에 좋지... (어디서 읽었는지는 확실치 않은데, 그 모델들이 레거시 코드인 코볼 같은 걸 다루거나 변환하고, 관련 프레임워크나 도구들을 IBM 자바 프레임워크로 업데이트하는 데 아주 뛰어나다고 들었어)

실제 레이더 차트:

아마 사람들이 잘 모르는 사이에 묻혀서 순위가 낮다는 뜻 아닐까

이건 내가 인덱싱하는 모델들 중 일부야. 그래프에 Granite를 넣으려고 30b Nemo, 26b Gemma4 같은 것들을 빼야 했어. 모든 작업에 가장 똑똑한 모델이 필요하다고는 생각 안 해. IBM은 더 나은 모델을 만드는 데 크게 투자하지 않는 걸 이런 식으로 때우고 있는 거지. 내 기억이 맞다면 GPT OSS 20b는 q4 기준으로 12gb인데, 최근에 나온 Granite 모델보다 가장 낮은 사고 모드에서도 더 빠르고 성능도 좋아. Qwen, Gemma 4, 그리고 Nemo 30b 같은 모델들이라면

나도 "로컬 LLM 입문" 시절에 "이 모델 저 모델 다 써보자" 하면서 엉뚱한 환경에서 돌려봤는데, Granite 성능이 별로라 바로 손절했었음. 요즘 다시 한번 써볼까 싶기도 한데, "첫인상이 안 좋으면 끝"이라는 문제 때문에 좀 망설여지네.

난 35b는 MTP 아닌 게 더 낫더라.

간단한 프롬프트(텍스트 2개를 넣으면 차이점을 보여주는 HTML 파일)로 아주 잠깐 테스트해 봤는데 성능이 엄청 구렸음. 심지어 Qwen 9B(reasoning 끈 상태)가 훨씬 잘하더라. 내 설정이 문제였을 수도 있음.

원문r/LocalLLaMA