매주 Claude 사용량 제한을 다 써버리는 사람들: 도대체 뭘 만들고 있는 건가요?

/goal 인터넷을 재구축하되, 더 좋게 만들 것. 확실히 해두자.

우리 회사 입장에서 현실적인 답변:

성과를 내는 효율적인 개발자와 토큰을 엄청나게 쓰는 개발자 사이에는 상관관계가 없음. 다들 모든 일에 AI를 쓰니까.

우리는 뭘 해야 할지도 모르면서 인공적인 리뷰나 재작성 같은 데에 끝없이 토큰을 낭비하고, 결국 아무것도 끝내지 못하는 개발자를 너무 많이 봄. 그런 사람들은 지금 해고되는 중임.

다리오(Dario) 집으로 가는 길. 근데 Opus가 나를 잘못된 길로 안내할 때마다.

내가 바로 그런 사람 중 하나임(지금은). Max 계정 2개 쓰다가 프로젝트 마감 다가와서 3개까지 늘렸음.

간단히 말해서, 지식 노동은 순수 코딩보다 토큰을 훨씬 많이 잡아먹음. 내 토큰 대부분은 빌딩 자체가 아니라 설계와 평가에 들어감.

코드는 검증하기가 비교적 간단함. 하지만 판단력, 취향, 맥락 정렬, 특히 조직이나 산업 특유의 것들은 훨씬 훨씬 더 어려움. 그리고 LLM-as-judge 평가 자체도 제대로 하려면 노력이 많이 들어감.

작은 예시 하나.

더 큰 제품의 일부로 캐릭터가 나오는 인터랙티브 장면을 만든다고 치자. 그 장면은 특정 메시지를 전달해야 하지만, 동시에 틈새 산업 내에서 정확해야 하고, 규제 요건을 충족해야 하며, 문화적 기대치, 접근성, 그리고 특정 타겟층까지 고려해야 함.

그래서 에이전트들이 이 모든 걸 조사하고, 잠재적으로 충돌하는 고려 사항들을 저울질하고, 설계 결정을 내리고, 프로토타입을 만들고, 나한테 오기 전에 자기 작업을 평가함.

그럼 나는 그들이 놓친 미묘한 부분을 찾아내지. 아마 조직이나 타겟층에 특화된 무언가일 수도 있고. 우리는 반복하고, 배운 점을 캡처해서 미니 플레이북에 넣고, 다음 라운드에서 개선되는지 확인함.

이제 이걸 수십 번 반복한다고 생각해 봐. 거기에 프로젝트의 다른 모든 부분(규제 계획 및 제출부터 프로젝트 조율까지)을 더하면, 각각 다른 종류의 조사, 설계, 평가가 필요함.

판단이 필요한 부분이 정말 많음. 그중 상당수는 산업이나 조직 특화적인 것들이고. 모델의 기본 이해도가 우리가 필요한 것과 반드시 일치하지는 않음.

거기까지 도달하게 만드는 데 토큰이 들어가는 거임. 더 높은 추론 수준이 엄청나게 도움이 되지만, 당연히 허용량을 훨씬 더 빨리 소진하지.

완벽하게 설명했는지는 모르겠지만, 대충 감은 잡혔길 바람.

게임 하나 만들면서 Opus 5.5 Max 2개 돌리면 이틀 만에 계정 제한 다 차버림. 여기서 Max 쓴다고 나 비웃을 사람들도 있겠지만, 큰 작업할 때는 Extra랑 비교해도 품질 차이가 엄청남.