최근 QAT에 대한 짧은 메모

QAT나 UD가 뭔지 조금은 아는 것 같은데도 글을 전혀 이해하지 못해서 스스로 멍청하다고 느껴지는 그런 경우네요.

여러 모델을 돌리는 꽤 안정적인 llama.cpp 라우터 설정을 쓰고 있는데, QAT랑 MTP gemma 4 모델 서빙할 때 어떤 공통 인자를 써야 할지 아직도 잘 모르겠음. 다들 어떤 인자 리스트 쓰는지 궁금함.

이거 llama.cpp에만 해당하는 문제지? 그럼 vllm 쓰면 괜찮은 거임?

vllm은 GGUF 포맷 안 씀. vllm에서는 파일명에 w4a16 같은 게 붙어있을 텐데, 그게 아마 제대로 읽히고 처리될 거임. 이 글에서 주장하는 내용은 흥미롭네. 텐서를 블록으로 나누는 방법은 몇 가지 안 된다고 생각했고, 기억이 맞다면 q4_0은 32개 값 그룹을 사용해서 가중치당 평균 4.5비트가 나오는 걸로 알고 있음. 32*4 값을 가져와서 거기에 16비트 스케일 팩터를 더하고, 그걸 다시 32로 나누면 평균 4비트가 되는 거지.

전부 다? Dense 모델도? MoE도?

!3일 뒤에 알림 설정

고맙다, 확인이 필요했거든. 글 내용은 하나도 모르겠지만 조만간 gemma4 qat gguf를 다시 받아야 한다는 건 알겠네!

전부 다요? Dense 모델도? MoE 모델도?

이런 글 보려고 여기 오는 거지. 내가 멍청하다는 걸 느끼려고. 가끔 너무 기술적인 글이나 댓글이 올라오면 이게 진짜인지 아닌지 몰라서 추천 누르기가 좀 꺼려짐. 글쓴이가 외로울까 봐 미안하긴 한데, 이해가 안 가면 일단 추천 안 누르는 게 안전하니까.