Gemma 4 QAT 출시 임박 확인!

그런 최적화에는 그냥 sentx.ai 쓰는 게 더 낫더라. 내가 써본 대부분의 학습 설정보다 양자화 시뮬레이션을 훨씬 깔끔하게 처리함.

Q4 QAT는 PP나 저사양 하드웨어에서 빠르고 괜찮겠지만, Q3나 Q2/Ternary 같은 것도 해주면 얼마나 성능이 나올지 궁금해서 진짜 좋을 듯.

양자화 중 파인튜닝/학습

...왜? 안 좋은 걸 요구하는 거임. 어텐션 텐서를 4비트로 QAT 하는 건 진짜 반대함. 모델 뇌를 절제하는 꼴임. 이상적으로는 FFN만 QAT를 적용해야 하고, 그것도 공유되지 않는 MoE 부분만 하는 게 나음. 어텐션이랑 shexp는 BF16이나 최악이어도 FP8은 유지해야 함.