앤스로픽의 Mythos급 모델이 허깅페이스에 유출되었다는 의혹

이게 진짜였다면 전 세계적인 뉴스였을 거임.

기자들도 검증할 시간이 필요하겠지.

수정: 근데 악성코드인 것 같음.

악성코드임

분명히 해두자면, 이건 사전 학습 체크포인트가 유출됐다는 주장임. 그 단계의 '모델'은 사실상 걸음마 수준이라 실제로 쓸만하게 만들려면 엄청난 작업이 필요함.

클로드한테 메타데이터를 확인해 보라고 했는데, 오픈소스 기술들을 죄다 짜깁기한 것처럼 보임. 심지어 딥시크의 명명 체계까지 베꼈더라고.

난 메타데이터만 봤음. 즉, 레포 API, 작은 텍스트 파일들(.txt로 저장된 것들, 절대 실행 안 함), 그리고 HTTP 범위 요청으로 가져온 샤드 헤더들만 확인했다는 뜻임. 총합 1MB도 안 되고 텐서 데이터는 없음.

확인된 점:

• 숫자가 정확히 맞아떨어짐. config.json을 수동으로 계산해 보니 허깅페이스에 보고된 4비트 가중치 바이트 수와 정확히 일치함(6,832,522,395,648). 32비트 부동 소수점 개수(139,224)도 설정 파일이 암시하는 것과 정확히 일치함.

• 샤드들이 엔비디아의 4비트 내보내기 형식과 똑같이 생겼음. 압축된 가중치, 가중치 바이트의 정확히 1/8인 8비트 블록 스케일, 그리고 레이어별 스케일 값까지. 빈틈이 없고 순서도 실제 safetensors 라이브러리가 쓰는 방식임. 스케일이 빠져 있다고 했던 건 내 실수였음: 그건 허깅페이스 요약 페이지의 누락이었고 헤더에는 포함되어 있었음.

• 코드가 깔끔함. torch, transformers, math, typing만 임포트하고 네트워크, 파일, exec 호출이 없음. 적어도 현재 커밋(6b7f8fc) 기준으로는 악성코드 미끼는 아님.

이게 진짜가 아닌 이유:

• '믿어야 할 이유'의 모든 항목은 무작위 데이터에도 똑같이 적용됨. 4비트 패턴은 이 형식에서 모두 유효한 값임. '스케일이 반올림 범위 내에서 디코딩됨'이나 '모든 블록이 왕복 검증됨' 같은 건 똑같은 양자화기를 거친 무작위 숫자에도 똑같이 적용되는 말임. 일관성이 있다는 건 업로더가 산수를 할 줄 안다는 거지, 뭔가가 학습되었다는 증거는 아님.

• '비밀' 설계가 공개된 부품들로 만들어짐: 4번째 레이어마다 전체 어텐션 레이어가 있고 그 사이에 선형 어텐션이 있는 Kimi Linear(문샷의 오픈 모델)의 레이어 레이아웃, Qwen3-Next 스타일의 선형 어텐션 게이팅.

• 딥시크-V3의 어텐션과 동일한 하위 차원, 그리고 전문가 라우팅과 추가 토큰 예측 헤드까지. 심지어 kv_a_proj_with_mqa 같은 딥시크의 정확한 텐서 이름까지 사용함. 딥시크의 명명법과 엔비디아의 내보내기 형식이 섞인 내부 체크포인트라니, 변환 과정이 너무 작위적임.

• 이야기가 앞뒤가 안 맞음. 4비트 형식과 그걸 만든 도구는 최신 GPU를 위한 엔비디아 도구임. 그런데 README에는 이 사본이 아마존의 Trainium2 칩에서 평가를 돌리기 위해 만들어졌다고 적혀 있음. 내가 알기로 그 칩은 4비트 가중치를 아예 못 씀.

• 코드네임은 아무것도 증명 못 함. 클로드 코드 소스 유출은 진짜였음(3월 31일 CNBC 보도). 'numbat'이라는 코멘트는 확인 안 해봤지만, 공개된 유출 정보에서 이름을 따오는 건 사기꾼들이 가장 쉽게 하는 짓임.