Mythos가 이걸 뚫었다, 저걸 뚫었다 하는데, Opus로도 똑같이 시도해 본 적은 있을까?
Mythos cracked this, mythos cracked that. But have they actually attempted to do the same with Opus?
핵심 요약
Mythos/Fable의 성능 향상에 대한 회의론과 Opus와의 비교 검증 필요성 제기.
- 성능 회의론 — Mythos가 Opus보다 얼마나 더 뛰어난지 검증이 부족함.
- 비교 검증 요구 — 동일한 프롬프트로 Opus와 Mythos의 취약점 탐지 성능을 비교해야 함.
- Mozilla 사례 — Firefox 버그 탐지에서 Mythos가 Opus보다 압도적인 성과를 보임.
- 보안 논쟁 — 버그와 취약점의 차이 및 연쇄 공격 가능성에 대한 의견 대립.
Mythos/Fable이 가진 엄청난 능력이라는 것들에 대해 회의적이다. Opus보다 업그레이드된 건 맞겠지만, 과연 그 정도로 큰 차이일까? Mythos가 여러 곳에서 취약점을 찾아냈다는 보고들이 있고 그게 사실이라고 가정하더라도, 제대로 된 A/B 테스트를 거쳤는지 궁금하다. 예를 들어, Opus로도 똑같은 프롬프트 기법을 사용해서 취약점을 찾으려 시도했고, 그 결과가 훨씬 미미했는지 확인했나? 그런 식의 연구가 있다면 정말 대단한 일이라고 납득하겠지만, 그런 연구는 본 적이 없다. 혹시 이런 테스트가 진행된 적 있나?

