동일한 게임 프롬프트, 테스트 금지: GPT-6.1 Sol은 26K 토큰으로 4분 만에 완료, Opus 5.5는 826K 토큰으로 21분 소요

동의함. Sol을 깎아내리려는 의도는 아니었음. 흥미로운 건 그 차이인데, Sol은 약 12K 토큰을 출력했고, Opus는 130K를 출력하고 추가로 700K를 읽었음. 즉 Sol의 게임이 대략 10분의 1 크기라서 내용이 적은 거고, 그래서 30배 저렴한 거임. 수정해 나가는 첫 단계로서는 아주 훌륭한 거래지.

그것도 4분 만에?

궁금해할 사람들을 위해 대략적인 비용을 계산해 봄. 캐시 할인 없이 OpenRouter 정가 기준(실제 청구액이 아닌 상한선): Fable 5.2 약 $7.06, Opus 5.5 $5.39, Argon $0.95, Sol $0.15. 여기서 Sol은 Opus보다 대략 35배 저렴한데, 이게 이 스레드 전체의 핵심 주장임.

Sol 6.1이 느린 건 26k 토큰을 썼다는 걸 고려하면 토큰/초 속도 때문이지, 이 경우엔 딱히 '느린' 게 아님. 그리고 Sol은 원래 테스트하는 걸 좋아하니까, 테스트를 못 하게 막으면 그냥 더 빨라질 뿐임.

맞음, 나도 그렇게 생각함. 프롬프트에서 열거나 테스트하지 말라고 했으니, 이건 Sol이 가장 좋아하는 습관을 꺼둔 상태인 거임. 테스트를 허용하면 시간 격차는 훨씬 줄어들 거라고 확신함.

체리피킹 끝판왕이네

의심하는 건 이해하지만, 고를 것도 없었음. 프롬프트 하나, 각각 한 번씩 실행했고, 이게 각 모델의 유일한 실행 결과임. 원한다면 전체 프롬프트 붙여넣어 줄 테니 직접 다시 돌려봐도 됨.

몇몇 사람들이 체리피킹이라고 해서, 기록된 대로 4개 모델의 실행 페이지를 전부 가져왔음. 같은 프롬프트, 같은 4-CPU 샌드박스, 자동화된 작업. Fable과 Opus는 Claude 에이전트 SDK에서, Sol과 Argon은 일반 에이전트 루프에서 실행됨. 턴 시간과 토큰 수는 각각 오른쪽에 있음.

프롬프트 좀 공유해 줄 수 있음? 학습하는 데 정말 유용할 것 같아서