API 과부하: Anthropic이 모두에게 공짜 컴퓨팅 자원을 마법처럼 퍼줄 수 없는 이유

사람들이 Anthropic이 그냥 초기화를 계속해야 한다거나, OpenAI가 하는 대로 해야 한다거나, 사람들에게 더 많은 걸 주지 않는다고 탐욕스럽다고 징징대는 소리를 계속 듣고 있다.

너희들 정말 어이가 없다. 그들에겐 컴퓨팅 자원 제약이 있어. 부하를 매우 신중하게 모니터링하고 관리해야 한다고. 그들이 단순히 심술을 부리거나 모두를 화나게 하려고 마지막 순간에 초기화를 하는 게 아니라, 예측하기 힘든 수요 속에서 아슬아슬한 줄타기를 하고 있는 거야.

그들은 구글이 했던 것처럼 Claude를 그냥 바보로 만들고 싶어 하지 않아. 그래서 제한된 컴퓨팅 자원을 어떻게 분배할지 고민해야 하지. 그걸 위해 제한을 둔 건데... 너희들은 마치 그들이 아무 이유 없이 나쁜 짓을 하는 것처럼 행동하면서, 그냥 더 주기만 하면 된다고 생각하잖아.

뭐... 이제 프로젝트를 진행하는 게 불가능해졌지. 커뮤니티 압박에 굴복해서 모두를 초기화했더니, 이제 수요가 폭발해서 API 오류가 끊이지 않고, 세션 도중에 에이전트와 프로젝트를 망치고 있어.

그들이 너희를 화나게 하려고 이런 짓을 하는 게 아니야. 컴퓨팅 수요 문제는 그들이 해결하려고 애쓰는 잘 알려진 문제라고. 재미로 마지막 순간에 설정을 바꾸는 게 아니야. 경쟁이 치열하다는 걸 알고 있고, 실제로 무엇을 달성할 수 있는지 계산하고 있기 때문에 그렇게 하는 거지.

그런데 너희들은 모두 그들이 단순히 탐욕스러워서, 혹은 그냥 그러고 싶어서 너희를 제한하는 것처럼 행동해. 수익을 추구하는 기업이 경쟁자가 시장에 진입하는 상황에서 고의로 자멸하려고 제한을 둔다는 식으로 말이야. 마치 그럴만한 실질적인 비즈니스 이유가 전혀 없는 것처럼.

자, 이제 왜 그런지 알겠지.