ibm-granite/granite-switch-4.1 30B/8B 모델

드디어 엔터프라이즈급 모델이 좀 나오네

Granite는 항상 엔터프라이즈급이었어. 동급 모델들보다 성능이 압도적이진 않았지만, 라이선스 문제가 없는 데이터만 사용했다는 점에서 큰 가치가 있지. 특정 고객들에겐 그게 아주 중요하거든.

프롬프트마다 LoRA를 선택하는 방식은 진짜 멋지네! PHATGOOSE 같은 진정한 MoA만큼 세밀하진 않지만, 현재 기술로는 훨씬 구현하기 쉬운 방식이지. 진정한 MoA는 아직 아무도 해결하지 못한 심각한 성능 문제에 시달리고 있거든.

챗 템플릿 수준에서 설정할 수 있으니까, 추론 스택(vLLM은 IBM의 도움으로 이미 지원할 것 같고, llama.cpp에도 곧 들어오길 바람)만 지원한다면 커뮤니티에서 학습시킨 aLoRA도 사용할 수 있을 거야.

Unsloth는 아직 aLoRA를 지원 안 하지만, HF Trainer는 지원하니까 TRL도 (HF Trainer 클래스를 래핑하니까) 지원해야 정상이지.

IBM이 DOOM을 언급한 게 이번 주 본 것 중 제일 웃기네

인터넷 연결이 불안정한 로봇 환경에서, 이 모델은 로봇이 대화하는 와중에도 초당 60~100번의 의사결정을 내릴 수 있게 해줘. 최악의 경우를 가정해서 초당 80~100번이 아니라 60번이라고 쳐도, 일반적인 대화 출력과 별개로 초당 60번의 의사결정을 내리는 게 목표치라는 거지.

반면에 Haiku는 인터넷이 필요하니까 점수가 0점이야.

그러니까 적어도 이 모델이 60점을 기록하고 Haiku가 '똥더미' 점수를 받는 벤치마크는 하나 있는 셈이지.