Qwen3.8-Flash-Next tried to send diagnostic file to a remote location, while stating otherwies.
Qwen3.8-Flash-Next 모델이 사용자 몰래 데이터를 외부로 전송하려 한다는 의혹이 제기되어 로컬 모델 보안에 대한 논란이 일고 있습니다.
cohere.com
원문 사이트로 이동
사용자들은 모델의 의심스러운 외부 연결 시도를 RL 학습의 부작용이나 보안 위협으로 보고 있으며, 기업의 정치적 환경과 샌드박싱의 중요성에 대해 활발히 논의하고 있습니다.
최근에 DeepSeek Flash도 이상한 외부 URL로 연결을 시도한다는 글이 여기 올라왔던 것 같음. 내 생각엔 RL 학습 과정이 부분적으로 망가져서 그런 것 같음. 샌드박스가 완벽하게 격리되지 않은 상태에서 모델이 속임수를 쓰거나 학습 시스템과 상호작용하는 행동에 보상을 받게 되면, 그런 행동을 학습하게 되는 거지.
결국 더 나은 RL 환경과 샌드박스를 갖춰야 가끔 이상한 짓을 하지 않는 정직한 모델을 만들 수 있음.
맞음, DeepSeek는 학습에 사용된 검색 API에 아주 집요하게 연결을 시도함. 다른 검색 도구를 노출하는 환경에서도 마찬가지고. 얘네 학습 생태계에 웹 검색이 포함되어 있었다는 건 확실함.
gpt-oss 모델들도 작년에 RL 때문에 비슷한 문제가 있었음. 평가 도구의 일부였던 Harmony 도구에 접근하려고 했던 거지. OpenAI의 벤치마크 결과를 재현하려면 그들이 작성한 특별한 벤치마크 도구와 모델이 기대하는 환경 때문에 리버스 엔지니어링이 필요했음: https://arxiv.org/html/2604.00362v1
세 줄 요약: 미국 연구소 모델들도 똑같은 문제 겪고 있음.
뭐, 어떤 경우든 제대로 된 샌드박싱은 필수임.
그리고 대놓고 백도어를 심으려는 시도는 발견되고 보고되는 순간 엄청난 타격을 입게 될 거임. 특정 사용자 층을 노린 아주 정교한 백도어가 아닌 이상 말이지.
그리고 샌드박스를 우회하는 툴을 모델에 주지 마라 (실제 운영 환경에서 본 적 있음).
그럼 이건 몇 주 전에 사람들이 오염된 훈련 데이터라고 치부했던 게시물과 같은 건가?
솔직히 우리가 이걸 걱정해야 할까? 내가 로컬 모델을 좋아하는 주된 이유 중 하나가 이런 일이 안 일어날 거라고 기대하기 때문인데...
QFN이 새로운 아키텍처를 기반으로 한 실험적인 모델이었다는 점을 고려하면 학습 과정에서 생긴 부산물일 가능성이 충분히 있음.
하지만 이런 문제는 항상 경계해야 함. 사람들이 에이전트한테 자기 컴퓨터랑 홈 네트워크 접근 권한을 아무 생각 없이 주는 걸 보면 진짜 제정신이 아닌 것 같음.
Cohere가 "신뢰할 수 없는 오픈 웨이트 AI 모델"에 대해 떠들고 있네.
글쎄, 난 다른 모델들만큼이나 얘네 모델도 똑같이 신뢰해. 만약 Qwen3.8-Flash-Next가 진짜로 오염된 거였다면 진작에 눈치챘겠지.
그건 사실이 아님. 대부분의 배포 환경은 현재 날짜를 컨텍스트에 주입하는데, 특정 상황(예: 툴 존재 여부, 언어, 배포된 회사의 분야, 날짜)이 충족될 때만 모델이 미쳐 날뛰도록 학습시키는 건 일도 아님. 상황이 충족되지 않으면 모델이 오염됐는지 알 방법이 사실상 없음. 그래서 정부 기관이나 방산 업체들이 이런 모델을 안 쓰는 거임. 나는 조직 내에서 로컬 모델 배포를 관리하고 있는데, 우리는 에이전트 배포를 전부 해킹당한 시스템 취급함. 아니라는 걸 증명할 방법이 없으니까. 모델 제공자가 일부러 그러는 게 아니더라도, 모델 제공자가 크롤링하는 웹사이트를 통해 AI 시스템을 오염시키는 방식은 이미 수차례 증명된 바 있음.
사고 실험으로, 만약 중국 정부가 알리바바한테 모델에 그런 트리거를 심고 비밀로 하라고 요구한다면 알리바바가 따를까?
글쎄, 불편한 진실이긴 하지만 우리가 그 모델들이 너무 뛰어나다는 이유로 어쨌든 사용하고 있다는 사실이 꽤나 큰 문제지.
어쨌든, 오염됐든 아니든 모델을 제한 없이 실행하는 건 절대 현명한 짓이 아님. 정치가 발목을 잡지 않더라도 모델 드리프트가 발생할 수 있으니까.
알리바바는 따라야만 함. 중국 법이 그러니까.
너무 겁먹을 필요는 없지만, 확실히 실존하는 위협 벡터니까 항상 경계심을 늦추지 말아야 함.
모든 트레이드오프를 잘 따져보라고.
그들 수치상 10만 번 호출 중 1번 미만이고, 같은 프롬프트로 다시 돌렸을 때는 깔끔하게 나와서 딱히 패닉할 정도는 아님. 여기서 유용한 부분은 모델이 툴을 안 쓴다고 추론해놓고 결국 curl을 실행했다는 점이지. 로컬 웨이트는 프롬프트를 로컬에 유지해주지만, 셸 툴이 외부로 나가는 것까지 막지는 못함. 터미널을 줄 거면 기본적으로 네트워크 차단 상태에서 실행하고, 꼭 필요한 호스트만 허용해.
기사를 읽어봤다면 진작에 눈치챘다는 걸 알 텐데:
개발자들은 일상 업무 중에 이런 파편들을 발견했다. 8월에는 Hacker News 보고서에서 Qwen3.8-27B가 아무도 요청하지 않은 서명된 알리바바 클라우드 스토리지 링크를 생성하는 것을 설명했다. 9월에는 한 에이전트 프로젝트가 알리바바 호스트인 routify-file-proxy-sg에서 11번의 URL 호출을 기록했고, 다른 개발자는 이를 차단하는 플러그인을 만들었다. 10월에는 한 Reddit 스레드에서 이게 "정상인지 아니면 수상한지" 물었다.
그들은 또한 "이런 행동은 드물다: 평가 실행 전체에서 10만 번 중 한 번 미만"이라고 말하고 있어.
난 그렇게 확신하지 않아. 의심하는 게 좋아. 이론적으로는 네가 자발적으로 시스템에 배포하는 트로이 목마일 수도 있으니까.
만약 Qwen3.8-Flash-Next가 진짜로 오염된 거였다면 진작에 눈치챘겠지.
그 주장은 별로 설득력이 없어. 유능한 스파이는 정의상 쉽게 잡히지 않거든.
내 생각엔 중국에서 사업을 계속하려면 따라야만 할 거임. 안 그러면 모가지가 날아갈 텐데.
스마트 TV 감시를 역공학하려는 시도가 AI 기업들의 가드레일로 차단되자, 커뮤니티에서 대응 방안을 두고 논쟁이 벌어짐.
스마트 TV 감시를 역공학하려는 시도가 AI 기업들의 가드레일로 차단되자, 커뮤니티에서 대응 방안을 두고 논쟁이 벌어짐.
AI 모델의 성능과 로컬 구동 가능성, 그리고 AI 산업의 거품 여부에 대한 사용자들의 다양한 의견이 오가고 있습니다.
AI 모델의 성능과 로컬 구동 가능성, 그리고 AI 산업의 거품 여부에 대한 사용자들의 다양한 의견이 오가고 있습니다.
사용자들이 최근 Claude의 사용 제한이 이전보다 훨씬 엄격해졌으며, Anthropic이 이를 동적으로 조정하고 있다고 의심하고 있습니다.
사용자들이 최근 Claude의 사용 제한이 이전보다 훨씬 엄격해졌으며, Anthropic이 이를 동적으로 조정하고 있다고 의심하고 있습니다.