Gemma 5를 위한 제안 목록

최근 Omar Sanseviero가 트위터에서 차기 Gemma 모델에 대한 의견을 구하길래, 내 생각을 좀 적어본다.

1. Gemma 5는 looped transformer여야 한다.

   • 루프 깊이를 조절할 수 있는 looped transformer를 도입하면 Gemma 4의 가장 큰 약점인 추론 능력을 해결할 수 있다. Gemma 4가 추론할 때 간결한 건 마음에 들지만, 그게 오히려 특정 상황에선 성능을 깎아먹거든. 루프 방식을 쓰면 추가적인 비용이 드는 사전 학습 없이도 모델이 더 복잡한 작업을 잘 수행하게 만들 수 있고, 필요에 따라 추론 깊이도 조절할 수 있어서 효율성도 챙길 수 있다.

2. Gemma 5에는 DeepSeek의 Engram을 넣어라.

   • 램이나 SSD 용량 몇 기가바이트 더 쓰는 걸로 모델의 지식 범위를 확 넓힐 수 있다. 실사용 성능은 훨씬 좋아지는데 비용은 거의 안 드는 셈이지.

3. 4 bit QAT는 계속 유지해라.

   • 덕분에 더 많은 사람이 고퀄리티 모델을 돌릴 수 있게 됐고, 이미 실전에서 성능 좋은 거 다 증명됐으니 무조건 찬성이다.

4. 더 효율적인 어텐션 메커니즘을 써서 KV cache 비용을 줄여라.

   • DeepSeek의 Compressed Sparse Attention 2 같은 걸 도입해서 KV cache 비용을 확 낮춰야 한다. Gemma 4 31b 모델이 24GB VRAM 환경에서 Qwen 3.5 같은 모델이랑 비교했을 때 가장 밀렸던 부분이 바로 이거거든.

5. Gemma 5 ~120b MOE 모델은 어떨까?

   • 너희 API 서비스랑 겹쳐서 안 될 거란 건 알지만, 만약 Gemma 5 시리즈로 120b MOE 모델 하나 내주면 커뮤니티 반응은 폭발적일 거다.

6. Drafter 모델 개선.

   • Gemma 4 출시 이후로 DSpark, DFlash 2, EAGLE-4 같은 새로운 추측 디코딩(speculative decoding) 기술들이 쏟아져 나왔으니, Drafter 모델도 좀 업데이트해 주면 좋겠다.

7. Gemma 4 12b처럼 모델 레이어에 Linear projection 적용.

   • 비전이나 오디오 기능 넣을 때 전통적인 아키텍처 대신 쓰는 방식인데, 꽤 흥미로운 접근이라 더 파볼 가치가 있다. 물론 안 되면 억지로 넣을 필욘 없고.

8. 작은 모델에 2 bit QAT 쓰는 건 그냥 잊어버려라.

   • gemma-4-E2B-it-QAT-mobile이나 gemma-4-E4B-it-QAT-mobile 같은 거 말하는 건데, QAT를 써도 2비트로 양자화하면 모델 지능이 그냥 뇌절 수준으로 박살 난다. 실전에서 쓸 가치가 전혀 없음.

9. 코딩 성능 올리겠다고 다른 거 다 희생해서 오버피팅하지 마라.

   • 요즘 다들 코딩 벤치마크 점수 올리겠다고 난리인데, 그러다 보니 일반 상식이나 창의적인 글쓰기, 뉘앙스 파악 능력은 퇴보하고 있다. 작은 모델이 모든 걸 다 잘할 순 없잖아. 코딩에만 몰빵한 모델들은 이 바닥에서 금방 도태된다. Gemma는 코딩 외적인 용도로도 밸런스가 잘 잡힌 몇 안 되는 모델이니까, 제발 그 정체성만큼은 유지해 줘라.