Anthropic 엔지니어들의 토큰 제한

본문과 상관없는 곁다리 의견: 일반 사용자들이 몇 달 동안 사용량에 대해 불만을 제기해 온 이유가 바로 이거임(Codex와 Claude 둘 다). 본질적으로 Claude Code나 Codex를 만드는 사람들은 사실상 무제한 토큰을 쓰거나 일반 사용자가 20달러나 100달러를 내고 쓰는 것보다 몇 배는 더 많은 토큰을 쓰면서 앱과 워크플로우를 설계함. 그러니 일반 사용자들에게는 이게 잘 맞을 리가 없지.

맞음, 얘네 시스템이 얼마나 비효율적인지 보면 기가 참. 난 20달러 내고 1000달러어치 Claude Code API를 쓰고 있으니 불평은 안 하겠지만, 우리 자체 장비로도 20달러어치 API 비용으로 비슷한 작업을 하고 있음. 대형 업체들은 컨텍스트 관리의 경제성에는 노력을 전혀 안 들이고, 비용 상관없이 성능만 뽑아내는 데에만 혈안이 되어 있음.

뭐, 걔네는 토큰을 파는 입장이니까. 뭔가가 토큰을 엄청나게 태우고, 걔네가 그 토큰을 엄청나게 팔아치우면 돈을 엄청나게 버는 거지.

엔지니어들은 매일 아침 주차장에서 쓰레기를 하나씩 주워올 때마다 토큰 5개씩 받고, 추가로 5개 더 받음.

Anthropic의 일반 엔지니어는 한 달에 약 6,000달러 상당의 AI 토큰을 사용하고, 최상위 연구원들은 그보다 10배 정도 더 씀. OpenAI도 비슷할 거임. 하드 리밋은 없지만 소프트 캡은 있어서, 그걸 넘기면 상사에게 사용 이유를 설명해야 함. 이건 에이전트를 밤새 돌리다가 꼬여서 코드를 안전하게 만든답시고 취약점 스캔하는 회사들을 해킹하기 시작하는 사태를 막으려는 용도임. 하지만 대규모 연구 프로젝트는 예외임. 이건 별도 예산이 잡히고, API 가격으로 치면 월 수백만 달러가 나올 법한 초대형 클러스터를 돌리기도 함. 10,000달러 이상의 토큰을 어떻게 그렇게 쉽게 태우냐고 묻는다면, 깃 워크트리, 수많은 서브 에이전트, 완전 자동화된 흐름(예: 보안 취약점 전용 흐름, 지라 관점에서 프로젝트 매니저인 척하는 에이전트 등), 울트라코드 같은 것들 때문임. 그렇게 쓰는 건 정말 쉬움.