Kimi K3로 양자 내성 암호 프로젝트를 감사해봤는데, Fable/Opus 4.8과 GPT-5.6 Sol이 놓친 실제 버그 5개를 찾아냈습니다

그 말에 동의하지 않는 건 아니지만, 이게 얼마나 결정론적인지 궁금하네.

우리는 인간이라 모든 걸 흑백논리로 보고 싶어 하지. GPT가 버그를 한 번 놓치고 Kimi가 한 번 잡아내면 'GPT는 눈이 멀었다'고 생각하지만, 실제로는 그렇게 작동하지 않는 것 같아. 같은 모델, 같은 프롬프트, 같은 샘플링 파라미터로 계속해서 반복 실행해 봐도 결과는 매번 달라지거든. 보통 '주제'는 비슷하지만, 매번 똑같은 분석과 답변이 나오는 게 아니라 분석과 답변의 분포가 나타나는 식이지.

OpenAI 진짜 최악임. 예전에 ChatGPT 5.5로 심리학 관련해서 일반적인 대화 나누고 있었는데 결과가 영 별로더라고. 다행히 생각하는 과정(partial thinking text)이 보여서 봤더니 '사용자가 독자를 조종하려는 것 같으니 답변 작성할 때 조심해야겠다' 이런 식으로 적혀 있었음.

핵심은, 모델이 중간에 답변을 건너뛰거나 멈추는 게 차라리 낫지, 내부적으로 우리를 조종하려고 결정하는 건 진짜 짜증 난다는 거임.

적어도 내 경우, GPT의 안전장치는 아주 대놓고 나타나:

"⚠ 이 콘텐츠는 사이버 보안 위험 가능성으로 인해 플래그가 지정되었습니다. 이게 잘못된 것 같다면 요청을 다시 작성해 보세요. 보안 작업을 승인받으려면 Trusted Access for Cyber 프로그램에 가입하세요: https://chatgpt.com/cyber" 그리고 당연히 그 요청에서는 출력 토큰을 얻을 수 없지.

Fable은 프롬프트가 유출된 적이 있어서 확실히 알지만, 이건 확실히 모르겠네.

그래도 어쨌든 하나의 가능성일 뿐이야. 이게 원인인지는 나도 모르지.

유출됐거나 아니면 Claude Code 안에 프롬프트를 넣었겠지 ㅋㅋㅋ 소프트웨어에 포함해서 배포하는 거면 딱히 유출도 아님.

맞아, 그럴 가능성이 충분히 있지. Anthropic이 [도대체 뭘 하고 있는 건지] 알 수 없는 상황에서 나란히 비교하는 건 불가능하니 증명하기 어렵겠지.

Mythos Preview 사용자들이 Opus보다 살짝 나은 거 같다고 하니까, 아마 걔네가 거짓말했고 사실 사이버 보안 작업용으로 튜닝된 거 아니냐는 의견이 있었음. 내 생각엔 걔네가 거짓말을 했든 사실을 말했든 상관없음. 사이버 보안이라는 게 코드베이스에 모델을 수십, 수백 번 돌리는 거니까. 대부분의 경우 뻔한 버그를 못 찾아내도 상관없음. 그 수많은 시도 중 하나라도 버그를 잡아내면 성공으로 치는 거니까. 그게 걔네들의...

Claude가 만든 프롬프트 파일로 pi를 로드하는 이런 셸 스크립트일 뿐임. OpenRouter가 경고하는 최근의 429 에러 때문에 재시도 로직을 넣었지만(아직 겪어본 적은 없음). 프롬프트는 Kimi에게 새로운 취약점을 찾고 그것들이 뚫릴 수 있다는 걸 증명할 커스텀 테스트 스크립트를 작성하라고 지시함. 그다음 Kimi는 무엇이 잘못되었는지, 전체적인 설계가 실제로 버티는지 설명하는 마크다운 파일을 작성해야 함. [CLAUDE.md](http://CLAUDE.m …)를 포함한 여러 파일을 읽도록 지시받음

나도 주로 Fable/Opus와 GPT-5.5(나중엔 Sol)로 개발된 프로젝트를 리뷰해 봤는데, Kimi가 Fable과 Sol이 놓친 버그를 찾아내더라. 리뷰하는 동안 안전장치 때문에 Fable에서 Opus로 리다이렉트된 적도 없었어(ClaudeCode opentelemetry가 리라우팅 시 Opus 모델 태그를 안 주는 게 아니라면 말이지). Kimi가 더 낫다는 뜻은 아니지만, 확실히 아주 좋은 모델이라는 건 증명된 셈이지.