왜 artificialanalysis.ai는 SciCode에서 Gemma 4를 Qwen 3.6 27b보다 높게 평가할까?

Qwen은 툴 콜링을 활용한 코딩에 능하고, Gemma는 과학 관련 코딩에 능함.

그러니 과학적인 작업을 해야 하고 툴 콜링이 필요 없다면 Gemma를 선택하면 됨. 하지만 툴 콜링이 필요하다면 Qwen을 쓰는 게 나음.

Gemma 4가 Qwen의 툴 콜링 기능을 갖추고 kv 캐시만 좀 적었어도 최고의 모델이었을 거라 생각하니 더 열받음. Gemma 4의 개성은 훌륭하지만, 컨텍스트를 줄이거나 엉망인 툴 콜링 같은 번거로운 과정 없이는 pi에서 제대로 쓰기가 힘듦. 반면 Qwen은 그냥 잘 작동함.

수정: 진짜 어이없는 건 Gemma 4가 terminal bench에서 더 높은 점수를 받는다는 거임. 그래 뭐 그렇다 치자. ㅋㅋㅋ

31b 모델에서 툴 콜링은 훌륭하고 안정적인데. 뭐가 문제임?

인정하건대, 최신 jinja 업데이트 이후로는 코딩에 써본 적이 없긴 한데, 예전에는 편집 도중에 무작위로 빈 툴 콜이나 eos를 내뱉곤 했음.

22일 전에 업데이트된 최신 채팅 템플릿을 꼭 사용하셈. pi.dev에서 써보면 하늘과 땅 차이임.

https://huggingface.co/google/gemma-4-31B-it/blob/main/chat_template.jinja