AI 툴 벤더 절반 가까이가 벤치마킹을 금지하고 있음

1982년에 데이비드 드윗(David DeWitt)이 데이터베이스 벤치마크를 돌렸는데 오라클 성적이 영 별로였거든. 그래서 오라클 변호사들이 허락 없이 벤치마크 결과를 공개하지 못하게 하는 조항을 라이선스에 박아버렸어. 이게 아직도 오라클 다운로드 라이선스에 남아있다.

난 AI 에이전트가 쓰는 도구들(모델 API, MCP 서버, 스크레이퍼, 결제 API 등)을 평가하는 사이트를 운영하는데, 평가 항목 중 하나가 각 벤더의 이용 약관을 읽는 거야. 지금까지 674개를 읽어봤는데, 그중 315개가 벤치마크를 하거나 경쟁 서비스를 만드는 걸 금지하고 있더라. 107개는 아예 벤치마크를 콕 집어서 언급했고, 69개는 대놓고 금지, 28개는 오라클의 1982년 조항처럼 허락 없이 결과 공개를 못 하게 막아놨어. 아폴로(Apollo)랑 줌인포(ZoomInfo) 약관은 오라클 문구에서 이름만 바꾼 수준이야. 24개 벤더는 아예 똑같은 템플릿 문장을 쓰고 있는데, 제발 다들 그냥 복붙해놓고 다시는 쳐다보지도 않은 거였으면 좋겠다.

근데 좀 이해하기 힘든 놈들도 있어. 에이전트 테스트 및 평가 플랫폼인 랭스미스(LangSmith)는 성능 공개를 아예 못 하게 막아놨고, x402(사람 개입 없이 에이전트가 알아서 결제하는 거)를 주도하는 코인베이스(Coinbase)는 자기네 도구로 가용성이나 성능 모니터링하는 걸 금지해.

물론 납득할 만한 이유가 있는 곳도 있어. 딥엘(DeepL)이나 시스트란(SYSTRAN)은 공유 인프라에 부하 테스트 거는 걸 싫어하거든. 커서(Cursor)는 다른 사람이 테스트를 재현할 수만 있다면 공개해도 된다고 하는데, 이게 정상이지. 그래야 사양이나 테스트 방식, 실패 원인까지 다 까발리게 되니까.

지금은 공개된 자료로만 연구하고 있는데, 나도 제대로 된 테스트를 돌려서 각 도구 성능을 다 까발리고 싶거든. 근데 API 키 받으려고 동의한 라이선스에 벤치마크 금지 조항이 있으면 테스트를 해볼 이유가 없잖아.

이런 짓거리가 수상하다고 생각하는 내가 이상한 거냐? 제품에 자신 있으면 벤치마크 좀 하게 놔두는 게 정상 아니야? 혹시 이런 약관 걸어둔 회사 다니는 사람 있으면 왜 그러는지 좀 알려줘라. 진짜 궁금해서 그래.