DeepSeek, Moonshot(Kimi), Xiaomi, 사용자 데이터 Anthropic 유출 및 프롬프트 무단 수정 혐의로 중국 당국 조사 중

DeepSeek, Kimi, Xiaomi Mimo 모델 개발사들이 전부 중국 국가인터넷정보판공실(CAC)의 공식 조사를 받고 있다네. Kimi 임원들이 체포됐다는 흉흉한 소문까지 도는 중이야.

요약하자면, 공식 보고서에 따르면 이 회사들이 유명 서드파티 라우터(OpenRouter나 OpenCode일 가능성이 높음)를 통해 들어온 사용자 요청을 Anthropic 모델로 우회시켰어. 그 과정에서 CoT(생각의 사슬) 추적 데이터를 빼내려고 숨겨진 프롬프트를 주입했고, 모델이 내놓은 답변을 사용자에게 전달하기 전에 몰래 수정까지 한 뒤, 그걸 자기네 모델 학습에 써먹은 거지.

가장 골 때리는 부분은, 일부 업체들이 ZDR(데이터 무보존) 정책을 내세우면서도 실제로는 사용자 데이터를 제3자와 공유하고, 프롬프트를 보관하고, 그 상호작용 데이터를 학습에 썼다는 거야. 심지어 민감한 정보가 담긴 메시지들을 Anthropic 직원들이 읽어버렸고, 그 내용을 일부 가린 채로 공개까지 해버렸어.

"해당 세션에는 수백 명의 최종 사용자가 쓴 이름, 이메일 주소, 회사 데이터, 그 외 민감한 정보들이 최소 12개 언어로 포함되어 있었다. 이런 짓거리는 개인정보 보호법은 물론이고 해당 연구소들의 자체 서비스 약관에도 어긋날 가능성이 높다."

예시 1: 제약 회사의 내부 자본 지출(capex) 전망치 [중국에 본사를 둔 연구소의 코딩 어시스턴트에 제출된 원본 사용자 프롬프트 (사용자는 서드파티 모델 라우터를 통해 모델에 접속함)] “목요일 검토 전까지 이 capex 모델 좀 정리해 줘. 워크북에 2026~28년 구축 예상치가 들어있어: 호치민 사이트 $[██]M, 쿠알라룸푸르 $[██]M, 방콕 $[██]M, 류블랴나

게다가 이번 발견으로 중국 AI 연구소들의 사용자 데이터 오남용 문제가 심각하게 대두되고 있어. DeepSeek, Xiaomi, Moonshot은 자기네 모델과 사용자 간의 대화 내용을 Claude에 집어넣었거든. 이 연구소들은 Claude의 답변을 학습 데이터로 써서 Claude의 능력을 그대로 베껴오려 한 거야. 이 대화 내용 중에는 개인 사용자, 주요 다국적 기업, 심지어 국가 관련 기관의 민감한 정보까지 포함되어 있었어. 이런 대화 상당수는 미국과 유럽 사용자들이 흔히 쓰는 서드파티 모델 라우팅 서비스를 거쳐서 유출된 것들이야.

출처: https://www.thestandard.com.hk/innovation/article/343563/DeepSeek-and-Moonshot-AI-face-Beijings-probe-over-potential-data-leaks-to-Anthropic

Anthropic 조사 보고서, 146페이지: https://www-cdn.anthropic.com/e50be2e51e7695dc4b1366a37a245a597377d3b5/Anthropic-Detecting-and-countering-091026.pdf