Gyro 양자화는 EXL3랑 비슷해 보이는데 왜 굳이 폐쇄형으로 만드는지 모르겠음. 이유 좀 설명해 줄 사람?

이미 EXL3 양자화가 있는데 왜 새로 나오는 엔진들이 굳이 이걸 추가하는지 모르겠네... $$$$

레딧은 이제 과대광고에 눈먼 놈들로 가득 찼어.
다들 독점 코드로 한몫 챙길 수 있다고 생각하지만, 사실 지금은 누구나 버전을 만들기 쉬워진 상황이거든(뭐, 모두가 그런 건 아니지만). 요점은 소프트웨어의 실제 가치는 떨어졌는데도 여전히 누군가는 독점 소프트웨어나 파일 형식을 시작할 때라고 생각한다는 거야. 아, 제발 좀.
난 이 과대광고 꾼들을 이해할 수가 없어. 돈을 받은 건가, 아니면 현실 감각이 완전히 마비된 건가?

Strix Halo는 자체적인 llama.cpp 포크가 있고 EXL3 코드를 지원하기 시작했으니 난 거기로 갈 거야.
아직 Q38FN 지원은 안 되지만, 곧 될지도 모르지.
https://github.com/halo-box/strix-llama.cpp

어디서 봤는데 TurboQuant는 이미 llama.cpp에 kv-양자화의 새로운 기능으로 병합됐다고 하더라.

인터넷에서 아무 코드나 막 돌려보자고! 내 유튜브 전문가가 이게 진짜 대박이고 미쳤다고 하더라고. 매일 챙겨보는 사람이니까 믿어야지. 그 사람 전문가잖아!

수학적으로 보면 표에 이미 '왜 필요한가'에 대한 답이 나와 있음. 답은 '필요 없다'임. 네가 원하는 모델이 Gyro로만 존재할 때 빼고는 말이지. 이 비교에서 해결되지 않는 건 커널 문제임. EXL3랑 Gyro가 QTIP이랑 Hadamard를 공유해도 디코드 루프는 공유 안 할 수 있음. 만약 Strata의 패스트 패스가 TQ2_T랑 2048개짜리 LUT에 맞춰 작성됐다면, EXL3 파일은 가중치를 트랜스코딩해도 그 경로를 못 탐. 재구성이 이너 루프지 헤더 필드가 아니니까. 그래서 '상호 운용 불가'는 당연한 거임. 이게 양자화가 더 낫다는 증거는 아님.

내 생각을 바꿀 만한 검증은 아주 지루하고도 공개적인 거임: 같은 모델, 같은 GPU로 토큰/초(TPS)랑 KLD나 top-1%를 측정하는 거, 그것도 그 포맷을 배포하지 않는 제3자가 해야 함. 그게 나오기 전까지 난 Gyro를 그냥 엔진 플러그인 정도로 취급할 거임. 가중치가 EXL3나 GGUF로도 있으면 난 그걸 쓸 거임. Gyro 파일만 있고 내가 굳이 Strata 수치가 필요하다면, 그냥 그 엔진 옆에 놔두고 나머지 라이브러리는 굳이 변환 안 할 거임.

나도 또 다른 폐쇄형 포맷은 경계되지만, EXL3 클론이라고 단정 짓기 전에 깔끔한 A/B 테스트를 기다려 볼래. 만약 진짜 품질이나 속도 면에서 이득이 있다면 사람들이 관심을 가질 거고, 아니면 호환성 저하를 정당화하기 힘들겠지. 혹시 같은 모델과 하드웨어로 EXL3랑 비교 테스트해 본 사람 있어?