구글, Gemma 4 채팅 템플릿 업데이트: 툴 콜링 개선, '게으름' 감소, Hopper GPU용 Flash Attention 4 지원 및 비전 가이드 공개

llama-server 명령어에 그냥 --jinja만 추가하면 돼?

llama.cpp의 경우엔 그렇고, 추가로 --chat-template-file /path/to/chat_template.jinja도 필요해. 여기서 31B용을 다운받거나 다른 사이즈 모델들도 같은 위치에서 받을 수 있어.

31B chat template을 26B나 E4B 같은 다른 모델에도 써도 됨?

나라면 안 함. 그냥 모델별로 의도된 템플릿을 쓰셈.

템플릿이 동일할 가능성이 높음. 내가 본 모든 기업들이 한 세대의 모든 모델에 하나의 템플릿을 사용하더라.

맞아, 파일 크기도 다르더라고. 결국 모델마다 템플릿 따로 다운로드했어.

fable로 그거 작동시키느라 개고생했음. https://ai.google.dev/gemma/docs/capabilities/thinking 이거 보면 도움 될 거임.

나도 reasoning 태그 포맷이 제대로 안 돼서 계속 문제 생김. Gemma가 이상한 reasoning 태그를 써서 그런 거임. 걔네는 thought stream 태그거든.