Qwen 조사 추적 데이터 공개

와, 말한 대로 행동으로 옮기다니 놀랍네.
이제 다른 사람들이 심층 조사하는 걸 구경할 시간이군!

이게 말 그대로 오픈 웨이트 모델의 존재 이유인데. 왜 사람들이 이걸 반대하는지 모르겠네.

가짜 댓글들 장난 아니네, 도대체 무슨 일이 벌어지고 있는 거야.

"curl 다운로드 탐지 규칙 작성해."

세상에, curl로 테스트 데이터를 다운로드했다고!!!11!!1!1

만약 안 그랬으면 탐지 규칙만 쓰고 테스트 명령으로 검증도 안 했다고 불평했을 거잖아.

계속 헤드라인이나 쫓아다녀라.

10만 번 중 1번 꼴이라는 보고를 보면, 최소한 원래의 트레이스(trace)가 외부 서버에 접속하려는 시도로 재현될 줄 알았음. 근데 재현하려면 모델에 정확히 2,323 토큰짜리 접두사를 먹여서 URL 바로 직전에서 멈추게 해야 함. 사실상 이미 만들어진 curl 명령어를 완성하라고 시키는 꼴임. 그렇게 해도 미국 기반 알리바바 엔드포인트, .invalid 도메인, 일반적인 페이스트 사이트 등 온갖 임의의 URL을 생성함. 이건 모델이 URL을 자동 완성할 수 있다는 거지, 중국으로 데이터를 빼돌리는 경향이 재현 가능하다는 증거는 아님.

걔들은 Qwen, 비슷한 미국 오픈 웨이트 모델, 그리고 자기네 모델을 똑같은 도구, 환경, 샘플링 설정으로 엔드투엔드 벤치마크를 돌려봐야 함.

그다음, 의심스러운 명령어를 미리 채워 넣지 않고도 각 모델이 얼마나 자주 독자적으로 승인되지 않은 네트워크 활동을 시작하는지 보고해야 함.

그래야 Qwen이 경쟁사들과 실제로 다르게 행동하는지 알 수 있을 거임.

이 증거는 중국의 백도어가 있다는 게 아니라, 잠재적인 에이전트 보안 문제라는 걸 뒷받침함.

그리고 나 같으면 이 발견 하나만 가지고 성능 좋은 오픈 웨이트 모델 사용을 중단하진 않을 거임. 어떤 모델을 쓰든 에이전트 하네스가 네트워크와 도구 권한을 강제로 통제하도록 만들겠지.

참고로 Cohere 공동 창업자도 The Register에 이 행동이 의도적이었다고 결론 내릴 증거는 없다고 말했음.