r/LocalLLaMA•5개월 전•39•27

TurboQuant 구현 결과가 논문과 일치하지 않음

Implemented TurboQuant and results don’t fully match paper

핵심 요약

TurboQuant를 직접 구현했으나 논문 대비 성능이 저조하여 원인을 파악하고 커뮤니티의 조언을 구함.

구현 문제 — TurboQuant 논문 수치와 실제 구현 결과 간의 상관관계 및 정확도 차이 발생
기술적 원인 — K/V 텐서의 첨도 문제나 차원 설정에 따른 성능 저하 가능성 제기
참고 자료 — TheToms의 llama.cpp 브랜치를 통한 비교 및 검증 필요성 대두
실제 활용 — TurboQuant를 적용한 모델이 VRAM 효율성 측면에서 긍정적인 성과를 보임

지난 며칠 동안 TurboQuant (arXiv:2504.19874)를 처음부터 직접 구현해 보았습니다.

제 수치가 논문의 수치와 일치하지 않아서 이곳 분들에게 확인을 좀 부탁드리고 싶습니다.

관찰 결과:

MSE 버전은 잘 작동합니다 (예상대로 압축 및 왜곡 발생)

PROD 버전:

논문에서는 99% 이상의 상관관계를 주장하지만

제 수치는 4비트에서 약 95.8% 정도입니다

하지만 더 흥미로운 점은:

이 95% 수준의 상관관계에서도 어텐션 품질이 상당히 저하된다는 것입니다

(단순 시뮬레이션에서 top-1 정확도가 약 67%에 불과함)

제 가설:

상관관계 != 순위 보존

어텐션은 순서 오류에 매우 민감함

그 외에 겪은 문제들:

분산 스케일링(unit vs 1/d)이 처음에 MSE 버전을 망쳤음

QJL 분산 스케일링을 다시 유도해야 했음

압축이 작동하려면 비트 패킹이 필수적임

확실하지 않은 점:

제가 PROD 스케일링에서 무언가를 놓치고 있는 것인지

d=256일 때 예상되는 동작인지

논문 결과가 더 큰 차원이나 특정 설정에 의존하는 것인지

코드는 관심 있으신 분들을 위해 여기에 올려두었습니다:

https://github.com/Ashx098/Turboquant-Implementation

KV 캐시 양자화나 유사한 기술을 다뤄보신 분들의 피드백을 정말 환영합니다.

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•39•27

TurboQuant 구현 결과가 논문과 일치하지 않음

Implemented TurboQuant and results don’t fully match paper

핵심 요약

TurboQuant를 직접 구현했으나 논문 대비 성능이 저조하여 원인을 파악하고 커뮤니티의 조언을 구함.

구현 문제 — TurboQuant 논문 수치와 실제 구현 결과 간의 상관관계 및 정확도 차이 발생
기술적 원인 — K/V 텐서의 첨도 문제나 차원 설정에 따른 성능 저하 가능성 제기
참고 자료 — TheToms의 llama.cpp 브랜치를 통한 비교 및 검증 필요성 대두
실제 활용 — TurboQuant를 적용한 모델이 VRAM 효율성 측면에서 긍정적인 성과를 보임

지난 며칠 동안 TurboQuant (arXiv:2504.19874)를 처음부터 직접 구현해 보았습니다.

제 수치가 논문의 수치와 일치하지 않아서 이곳 분들에게 확인을 좀 부탁드리고 싶습니다.

관찰 결과:

MSE 버전은 잘 작동합니다 (예상대로 압축 및 왜곡 발생)

PROD 버전:

논문에서는 99% 이상의 상관관계를 주장하지만

제 수치는 4비트에서 약 95.8% 정도입니다

하지만 더 흥미로운 점은:

이 95% 수준의 상관관계에서도 어텐션 품질이 상당히 저하된다는 것입니다

(단순 시뮬레이션에서 top-1 정확도가 약 67%에 불과함)

제 가설:

상관관계 != 순위 보존

어텐션은 순서 오류에 매우 민감함

그 외에 겪은 문제들:

분산 스케일링(unit vs 1/d)이 처음에 MSE 버전을 망쳤음

QJL 분산 스케일링을 다시 유도해야 했음

압축이 작동하려면 비트 패킹이 필수적임

확실하지 않은 점:

제가 PROD 스케일링에서 무언가를 놓치고 있는 것인지

d=256일 때 예상되는 동작인지

논문 결과가 더 큰 차원이나 특정 설정에 의존하는 것인지

코드는 관심 있으신 분들을 위해 여기에 올려두었습니다:

https://github.com/Ashx098/Turboquant-Implementation

KV 캐시 양자화나 유사한 기술을 다뤄보신 분들의 피드백을 정말 환영합니다.

주요 댓글

r/localllama

TurboQuant 구현의 기술적 난관에 대해 실무적인 조언과 함께, 실제 성능 향상 체감 여부를 두고 사용자들 간의 활발한 토론이 이어지고 있음.

TurboQuant 구현 돌리기 전에 K랑 V 첨도(kurtosis)부터 확인해봐. 첨도 높은 텐서는 아무리 화려하게 회전시켜도 4비트나 3비트에서 제대로 안 돌아감. Llaminar에서 Qwen2랑 3으로 TQ 구현했을 때 K 텐서는 8비트 미만이면 아주 난리 나던데.

좋은 정보 고맙다. 나도 실험해 볼게.

TheToms가 만든 llama 브랜치에 TurboQuant 있는 거 알아? 모르면 비교해 보면서 흥미로운 거 발견할지도 몰라.

오케이, 확인해 볼게.

난 16GB VRAM에서 TheTom llama.cpp 버전으로 QWEN 3.6 27B IQ3 XXS 모델에 K랑 V 둘 다 turbo3 적용해서 90k 컨텍스트로 돌리는 중임. 결과 진짜 만족스러움. TurboQuant 없으면 모델이 CPU/RAM으로 넘어가서 속도 개판 나거든. 그러니까 수치상으로 어떻든 TurboQuant는 확실히 장점이 있음.

100% AI가 짠 코드베이스네.

흥미로운 발견이네. 상관관계랑 순위 보존 관련 지적은 일리 있음. 어텐션은 기본적으로 정렬 메커니즘이라 작은 순서 오류도 금방 눈덩이처럼 불어나거든.

원문r/LocalLLaMA