TurboQuant와 RaBitQ 논문 관련 기술적 해명
핵심 요약
RaBitQ 저자가 TurboQuant 논문의 표절 의혹과 불공정한 실험 환경, 기술적 오류를 공개적으로 지적함.
- 기술적 표절 의혹 — TurboQuant가 RaBitQ의 핵심인 랜덤 회전 설명을 누락하고 그리드 기반 PQ로 축소함.
- 이론적 근거 부족 — RaBitQ의 점근적 최적성을 무시하고 근거 없는 비판을 제기함.
- 불공정한 실험 환경 — RaBitQ는 CPU, TurboQuant는 A100 GPU를 사용하여 성능을 왜곡함.
- 공개 기록 요청 — 저자가 커뮤니티의 혼란을 막기 위해 공식적인 정정과 해명을 요구함.
저는 RaBitQ 논문의 제1저자인 Jianyang Gao입니다. TurboQuant가 최근 r/LocalLLaMA에서 로컬 추론 및 KV 캐시 압축 맥락으로 논의되고 있어, 커뮤니티가 기술적으로 정확한 비교 정보를 가질 수 있도록 이 글을 올립니다.
저희가 이 글을 쓰는 이유는 TurboQuant에 대한 공개적인 논의와 홍보가 RaBitQ 연구 [1, 2]와의 관계에 대해 상당한 혼란을 야기했기 때문입니다. 이러한 문제와 설명은 이번이 처음 제기된 것이 아닙니다. 2025년 1월, 논문의 제2저자인 Majid Daliri가 저희 RaBitQ 구현의 파이썬 번역본을 디버깅하기 위해 저희에게 연락했습니다. 2025년 5월, arXiv에서 TurboQuant 논문을 발견한 후, 저희는 그에게 아래의 우려 사항을 상세히 전달했습니다. 그러한 통지에도 불구하고 저자들은 ICLR 제출본에서 부정확한 진술을 유지했습니다. 최근 2026년 3월 26일, 저희는 모든 저자에게 다시 공식적으로 통지했습니다. 그러나 그들은 ICLR 2026 컨퍼런스가 끝난 후에야 문제의 일부를 수정하기로 동의했는데, 이는 최근의 홍보로 인해 확산된 오해를 풀기에 불충분하며 오히려 ICLR 회의 현장에서 더 큰 혼란을 야기할 수 있다고 판단됩니다.
저희의 우려는 세 가지 부분입니다.
-
RaBitQ의 방법론적 설명이 실질적으로 불완전합니다. TurboQuant는 랜덤 회전을 방법의 핵심 단계로 반복해서 설명하지만, RaBitQ에 대한 설명은 주로 그리드 기반 PQ 프레임으로 축소하고 두 방법 사이의 가장 중요한 연결 고리 중 하나인 Johnson-Lindenstrauss 변환/랜덤 회전을 생략합니다. 더욱이 두 명의 리뷰어가 Johnson-Lindenstrauss 변환/랜덤 회전에 대한 명확한 설명과 논의를 요청했음에도 불구하고, TurboQuant의 ICLR 최종본은 여전히 그러한 논의를 추가하지 않았으며, 대신 본문에 있던 RaBitQ에 대한 원래 설명은 부록으로 옮겨졌습니다.
-
이론적 설명이 뒷받침되지 않습니다. TurboQuant는 RaBitQ의 보장을 "차선책(suboptimal)"이라고 묘사하고 이를 아무런 설명 없이 "느슨한 분석(loose analysis)" 탓으로 돌렸습니다. 하지만 2024년 9월에 게시된 저희 논문 [2]은 이미 점근적 최적성을 명확히 주장했으며, 이는 Alon과 Klartag [3]의 최적 경계와 일치합니다. 2025년 5월 이메일에서 이 문제가 명확히 제기되고 해명되었음에도 불구하고, 저자들은 ICLR 제출본에서 TurboQuant의 보장이 RaBitQ 라인과 어떻게 비교되는지에 대한 체계적인 설명을 여전히 제공하지 않고 있습니다.
-
실증적 비교 또한 완전한 공개가 부족합니다. Majid의 2025년 1월 이메일은 그가 RaBitQ의 C++ 구현을 파이썬으로 번역하고 저희에게 디버깅 도움을 요청했음을 보여줍니다. 2025년 5월, 그는 보고된 런타임 설정에서 RaBitQ 베이스라인이 멀티프로세싱이 비활성화된 단일 CPU에서 실행되었음을 인정했습니다. TurboQuant 방법 자체는 A100 GPU에서 실행됩니다. 그러나 공개된 논문은 그러한 실험 설정을 명확히 밝히지 않은 채 효율성 주장을 펼치고 있습니다. 이 문제 또한 2025년 5월 개인 이메일을 통해 제기되었습니다.
2025년 5월, 저희 이메일은 이론적, 실증적 문제를 직접 제기했습니다. Majid는 공동 저자들에게 알렸다고 답했습니다. ICLR 리뷰 기간 동안 리뷰어들도 랜덤 회전과 RaBitQ와의 관계에 대해 설명을 요청했습니다. 2026년 3월 26일, 저희는 모든 저자에게 다시 공식적으로 우려를 제기했고, ICLR 2026 컨퍼런스 이후에 수정하겠다는 답변을 들었습니다. 또한 Johnson-Lindenstrauss 변환과 관련된 구조적 유사성을 인정하지 않겠다는 답변도 받았습니다. 현재의 공개 홍보 수준과 커뮤니티의 혼란을 고려할 때 이는 받아들일 수 없습니다.
저희는 커뮤니티가 정확한 공개 기록을 가질 수 있도록 이 글을 올립니다. 저희는 저자들이 TurboQuant와 RaBitQ 간의 방법론적 관계, 이론적 비교, 그리고 보고된 RaBitQ 베이스라인의 정확한 실험 조건을 공개적이고 즉각적으로 명확히 할 것을 요청합니다. 이러한 우려 사항이 ICLR 제출 전과 TurboQuant의 현재 홍보 이전에 이미 알려졌다는 점을 고려할 때, 이러한 문제를 공개적인 논의로 가져오는 것이 필요하다고 판단됩니다.
공개 OpenReview 스레드: https://openreview.net/forum?id=tO3ASKZlok
