Claude 200달러 플랜 쓰다가 ChatGPT 100달러 플랜도 써보기로 함. 데이터 공유함

내 말이 틀렸다는 건 아니지만, CC랑 Codex를 API 구독 비용으로 비교하는 건 무의미해. 보조금 규모를 측정하고 싶다면 그렇게 해도 되겠지만.

식당 두 곳이 있는데 메뉴가 다 따로따로라고 상상해 봐. 공급업체도 다르고, 셰프도 다르고, 국가도 다르고, 재료도 다 달라. 근데 너는 지금 그 두 식당의 무한 리필 뷔페를 서로 비교하고 있는 거야. 대체 왜 그런 짓을 하면서 진지하게 받아들여지길 바라는 거냐?

모델이랑 회사 간에 그나마 유의미한 비교를 하려면 어떻게 해야겠냐.

Claude나 ChatGPT한테 물어보면 알려줄 거다. 네 실험이 쓸모없다는 건 아님. 근데 모델별로 같은 작업을 시켜서 비교하는 방식은 이미 널리 알려진 방법임. 그냥 모델들한테 "x, y, z 기능이 있는 앱 만들어줘"라고 시킨 다음에, 청구된 금액이 아니라 token 비용을 비교하면 됨. 진짜 간단함. 다시 말하지만 네 연구가 쓸모없다는 게 아니라, 그냥 참고하라고 의견 좀 보태는 거임.

이것도 쓸모없는 비교야. 만약 앤스로픽이 내일 API 가격을 1000% 올린다고 해서 Claude Code 구독이 10배 더 유용해지는 건 아니잖아.

그건 우리 샘플 사이즈가 작아서 생기는 별개의 문제지. '얼마나 많은 일을 처리하는지 비교해라' 같은 느낌 기반의 반응들이 문제인 거야. 모델마다, 구독마다 똑같은 코드 베이스로 수십 번씩 테스트해서 'OpenAI가 작업 효율이 더 좋을지도 몰라'라는 걸 알아낼 생각은 없거든. 지금 당장 뭐가 더 가성비 좋은지 테스트하려고 수백 달러씩 구독료를 내거나, 예전 토큰 사용량과 비교하는 건 나한테 별 이득이 안 돼. 모든 조건을 일정하게 유지하기도 힘들고.

참고로 말하자면 나도 동의해. 아스트라/솔을 쓴 일주일 동안 앤스로픽 100달러 플랜의 3분의 1밖에 못 썼을 뿐만 아니라, 내 환경에서 Fable/Opus 5랑 비교했을 때 토큰 효율이 엄청나게 떨어지는 느낌이었어. 비교 자체가 안 될 정도야. 지금 당장 앤스로픽이랑 사용량 한도를 맞춰준다고 해도, 내가 겪은 결과물 때문에 굳이 쓰고 싶진 않아.

입출력 사용 패턴이 너무 달라서 이런 식으로 비교하는 건 좀 무리인 듯.

그건 그냥 네가 앤스로픽 API 캐싱이 어떻게 돌아가는지 모른다는 뜻이지 ㅋㅋㅋ