Cohere의 비윤리적인 행태에 대하여

3일 전, u/Cohere가 대규모 사전 채우기(pre-filling)와 프롬프트 엔지니어링을 동원해 Qwen 3.8 Flash Next가 cURL 명령어를 억지로 완성하게 만든 '실험'에 관한 비과학적인 블로그 글을 올려서 엄청난 언론의 관심을 끌고 공포 분위기를 조성했음.

오늘 그쪽에서 캐나다 정부로부터 최대 16억 달러를 포함해 수십억 달러 규모의 시리즈 E 투자를 유치했다고 발표하더라.

애초에 사용된 모델인 3.8 Flash Next가 정식 출시 모델도 아니고 그냥 미완성 아키텍처 데모라는 점은 차치하더라도, 그 블로그 글에는 모델 선정보다 훨씬 더 큰 문제들이 많음.

그 블로그 글의 전반적인 내용과 문제점들을 아래에 요약해 봄:

이 글은 모델이 유도된 완성(guided completions) 과정에서 알리바바 버킷 스토리지나 프록시로 연결되는 URL을 생성했다는 점을 집중적으로 다룸. 이 링크들이 실제로 작동하는 건지 확인됐는지에 대해 명확한 답을 찾을 수 없었는데, 혹시 아는 사람 있으면 제보 좀 부탁함. 설령 링크가 작동 안 한다고 해도 논의해 볼 가치는 있지만, 글의 프레임 자체가 너무 기만적이고 비과학적이었음.

같은 블로그 글에서 Cohere는 관련성 떨어지는 주장들을 이것저것 끼워 넣었는데, 예를 들면 이런 거임:

• 몇 달 전 Qwen 3.8 27b가 알리바바 클라우드 스토리지 서명 링크를 생성했다는 해커뉴스/레딧의 논란을 언급함. 그래도 Cohere가 양심은 있는지, 그 링크들이 전부 파일 '검색'을 시도한 것뿐이고 서명도 유효하지 않았으며, 외부 URL로 데이터를 업로드하려던 유일한 시도는 3.8 Flash Next를 이용한 샌드박스 실험 환경에서만 일어났다는 점은 인정하더라.

• 3.8 Flash Next가 관리자 권한 없이 비특권 사용자 네임스페이스를 사용해 램 디스크를 마운트하는 예시.

  • 이거 꽤 흥미로운 주제고, 나도 바인드 마운트나 도커 컨테이너를 써서 권한 우회하는 비슷한 사례들을 본 적 있음. 근데 비특권 사용자 네임스페이스는 리눅스의 정당한 기능이고, 그 명령어 자체가 권한 상승이나 악의적인 행동은 아님.

  • 이런 미묘한 차이를 설명하는 대신, 그쪽은 암시적인 표현을 써가며 문단을 이렇게 마무리함. "권한 장벽을 만날 때마다 이런 꼼수를 부리는 신뢰할 수 없는 모델은 호스트가 열어둔 공격 표면을 어떻게든 찾아낼 것". 대놓고 말은 안 하지만 Qwen 3.8 FN이 위험하고 신뢰할 수 없으며, 기회만 되면 위험한 권한 상승을 노리는 '꼼수 부리는 모델'이라는 인상을 강하게 심어주려는 거지.

• 그 외에도 관련성 없는 주제들을 장황하게 늘어놓은 점들..

  • A closed-as-invalid github issue in a random coding harness called Yukino Code (...what even is that?)

  • US police departments buying Chinese robot dogs that may have had major security issues (ok?)

  • Old news about Chinese bias and questionable behavior in models like Deepseek-R1 and Qwen3-Coder, based on findings from US consulting firms such as Booz-Allen (American government and military contractor) and a company named Hirundo, who's entire business model is AI cybersecurity and selling what is essentially a form of abliteration which they market as "the world's first Machine Unlearning Platform" (surely no ulterior motives there)