MiMo-V2.6 (Pro 및 Flash)는 벤치마크 점수만 높은 사기 모델임

MiMo-V2.6-Pro는 AA에서 46점이라는 미친 점수를 찍으면서 현재 오픈소스 모델 중 단연 1등을 먹었음. 가격도 거의 거저 수준이고. Flash는 아직 AA에 안 올라왔는데, 데이터센터 기준으로는 Pro 가격의 절반도 안 되고 샤오미 자체 벤치마크에서도 Pro보다 살짝 아래임. 게다가 192GB 안에 쏙 들어가서 Gorgon Halo를 제대로 써먹을 수 있는 첫 번째 실사용 사례가 됐지.

그래서 두 모델 다 돌려봤음. 이건 벤치마크가 아니라, 시니어 소프트웨어 엔지니어 입장에서 직접 써보고 느낀 점임.

MiMo-V2.6-Pro

보안 관련 작업을 하나 시켜봤음: bubblewrap 샌드박스에서 git push to github는 되게 하되, git push --force나 다른 파괴적인 명령어는 막아달라고 했음. 샌드박스 시작할 때 --no-git 옵션을 넣으면 github 쓰기 권한을 완전히 차단하는 기능도 포함해서.

이놈이 설계상 애매한 구석이 보이니까 질문하려고 멈추더라고 🥇. 그러고 나서 구현을 시작함.

속도는 좀 느렸는데, 이건 그냥 추론 이슈(~25 tok/s)라 제공업체들 좀 더 들어오면 며칠 내로 해결될 문제임.

근데 결과물 보고 진짜 입이 떡 벌어져서 바닥에 떨어진 턱을 주워야 했음.

코드 대충 훑어보자마자 바로 보인 건데, --no-git을 우회하려면 샌드박스 안에서 이런 존나 복잡하고 괴상한 명령어를 쳐야 함:

$ git push
(실패)
$ echo GIT_STATUS
차단됨
$ GIT_STATUS="p0wn3d by l33t h4xx0r" git push
(성공)

이건 뭐 15살짜리 스크립트 키디 수준임.

더 읽을 필요도 없어서 GLM-5.3(풀버전)한테 이 변경 사항 보안 검토 좀 해달라고 했음.

3분 만에 git이랑 gh 제한을 우회할 수 있는 명백한 보안 구멍을 아홉 개나 찾아냄. 머리 쥐어뜯고 싶었던 예시 몇 개만 적어봄:

기본 제한 모드에서,

• git push는 잘 됨 🥇

• git push --force는 차단됨 🥇

• git push -f는 차단됨 🥇

• git push -uf는 git 원격 저장소를 아주 시원하게 날려버릴 수 있음 ☠️

• git config alias.fp 'push --force --no-verify && git fp 이것도 그냥 통과됨 ☠️

• env -u GIT_CONFIG_COUNT /usr/bin/git push --force 이건 그냥 뚫림 ☠️

다시 말하지만, 이건 여드름 난 인턴 수준의 무능함임.

관짝에 못을 박자면, MiMo가 채팅에서 내뱉는 문장들은 진짜 사람 열받게 함. Opus만큼은 아니지만 거의 근접함. 눈이 아플 지경이고, 도대체 무슨 개소리를 하는 건지 이해하려면 두 번은 읽어야 함. GLM, DeepSeek, Qwen이 훨씬 일하기 편함.

MiMo-V2.6-Flash

MiMo-V2.6-Flash한테 아주 간단한 git 작업을 시켜봤음: master에서 새 브랜치를 따고 다른 브랜치에서 커밋 하나만 cherry-pick 해오기.

근데 내가 시킨 git worktree가 깨져있다는 걸 깜빡했음(메인 git 저장소 브랜치는 멀쩡했음).

• 모델이라면 "여기 git 없는데요? 뭔 소리 하시는 건지 모르겠음"이라고 했겠지.