새로운 양자화 방식 제안: IQ2_K, IQ3_K, IQ4_K, IQ5_K 및 IQ6_K

누군가 이런 시도를 하다가 ik llama 드라마로 끝나는 게 벌써 세 번째네.

같은 크기에 KLD가 더 좋으면 사실상 공짜로 품질이 올라가는 거나 다름없음. 양자화는 한 번만 하면 되니까 생성 속도가 느린 건 거의 상관없지.

드라마보다 이름 중복이 더 걱정됨. ik_llama.cpp는 이미 IQ2_K에서 IQ6_K라는 이름을 쓰고 있는데, 이게 비트 단위로 완전히 똑같지 않다면(똑같지 않을 거라 장담함), 허깅페이스에 IQ4_K라고 라벨링된 파일들이 넘쳐날 거고, 한쪽 포크에서는 로드되는데 다른 쪽에서는 실패하거나 쓰레기 값을 뱉어낼 거임. 제발 다른 이름을 쓰길 바람. 그리고 Q-quant 기준점이 imatrix로 만들어진 건지도 궁금함. imatrix IQ를 일반 Q4_K_M이랑 비교하면 KLD 격차가 엄청나게 부풀려질 수 있고, 모델 하나만 가지고는 MoE나 작은 dense 모델에 대해 아무것도 증명할 수 없음.

이번에는 달라서 꼭 머지됐으면 좋겠음... 'IQ3' 양자화가 'IQ3.5/IQ3.7' 정도로 성능이 나오게 될 테니까.

ik와 gg 사이의 이 드라마는 저렴한 기기에서 LLM을 돌리려는 수백만 명의 사람들에게 영향을 주고 있음. 서로 좋아할 필요는 없지만(ik와 gg), 이기적으로 들리겠지만 이제는 로컬 커뮤니티를 위한 해결책을 찾을 때가 됐음. 우리는 분열되어서는 안 됨. 우리 모두는 집에서 좋은 로컬 모델을 사용하는 민주화와 자유를 원하니까.

KLD 들어간 팬케이크 레시피 좀 알려줘.