Claude의 사용량 제한과 지능 문제는 마치 '오닉시아가 숨을 더 자주 쉰다'는 괴담과 같다

애송이들아 다들 모여봐라. 옛날이야기 하나 해줄게. 와우(WoW)에서 가끔씩 고개를 쳐드는 밈이 있는데, 오늘은 그 원조격인 이야기를 좀 해보려고.

바닐라 와우 시절에 레이드 좀 뛰어본 놈들은 다 기억할 거다. 오닉시아의 '깊은 숨' 한 방이면 공대 전체가 전멸하곤 했지. 길드마다 그게 왜 터지는지 나름의 뇌피셜이 하나씩은 다 있었어. 누구는 뭉쳐 있어서 그렇다, 디버프가 너무 많다, 딜이 느리다, 아니면 공대장이 배고파서 짜증 섞인 목소리로 지시해서 그렇다 등등 별의별 소리가 다 나왔지. 포럼은 맨날 그 얘기로 도배됐고, 패치만 하면 "오닉시아 깊은 숨 빈도 늘어난 거 아님?" 하는 글이 꼭 올라왔거든.

블리자드는 공식적으로 그냥 랜덤이라고 못 박았어. 2007년 개발자 인터뷰에서 제프 카플란이 직접 말했으니까. 그럼 끝난 거 아니냐고?

근데 아니었거든. 패치 이후에 블리자드가 내부 조사 결과 의도치 않은 변경 사항 때문에 깊은 숨 빈도가 늘어났었다고 인정하고 핫픽스를 했거든. 그러니까 음모론자들 말이 맞았던 거지. 플레이어들이 미신을 믿는 줄 알았는데, 가끔은 그게 진짜였던 거야. 밖에서 보는 사람들은 뭐가 진짜인지 알 길이 없었지.

지금 우리가 Claude를 쓰는 상황이 딱 그래.

어떤 날은 평소라면 오후 내내 쓸 분량이 점심 먹기도 전에 다 떨어져 버려. 어떤 날은 답변이 칼같이 날카로운데, 어떤 날은 멍청하기 짝이 없고. 가끔은 지시사항을 씹어먹고 엉뚱한 소리나 해대질 않나. 이게 조용히 제한을 건 건지, 서버 부하 때문인지, 아니면 긴 컨텍스트 때문에 토큰을 예상보다 많이 잡아먹는 건지 도통 모르겠어. 2006년 레이드 때 흑마법사 탓하던 공대장처럼 내가 괜히 헛다리 짚는 건지, 아니면 진짜 뭐가 바뀐 건지 알 수가 없다고. 나도 나름 IT 좀 아는 놈인데, 이걸 확인할 방법이 없으니 답답할 노릇이지.

사용량 측정기도 별 도움이 안 돼. 그냥 얼마 안 남았다는 소리만 하지, 뭘 하느라 썼는지 왜 썼는지는 안 알려주거든. 메시지 하나당 비용이 얼마인지, 앞으로 얼마나 들지, 대화 기록이 매 턴마다 토큰을 얼마나 잡아먹는지, 오늘 예산이 어제랑 똑같은지 알 수가 없으니까.

이건 앤스로픽(Anthropic)도 마찬가지야. 작년에 인프라 버그 때문에 몇 주 동안 일부 사용자들의 답변 품질이 떨어졌었다고 사후 보고서를 낸 적이 있거든. 그게 나오기 전까지는 문제 제기하는 사람들한테 다들 "네 착각임"이라고 했었지.

내가 앤스로픽이 뭐 구린 짓을 한다고 비난하는 건 아니야. 나도 이 툴을 쓰고 있고, 일단은 믿어주려고 하니까. 하지만 인내심에도 한계가 있는 법이지. 그냥 RNG(운빨)인지 진짜로 뭐가 바뀐 건지 구분할 수 있을 정도의 가시성만이라도 줬으면 좋겠어. 메시지별 토큰 수, 더 명확한 사용량 내역, 백엔드에서 뭔가 바뀔 때 알려주는 상태 알림 같은 거 말이야. 쉽게 말해서, 우리한테도 '전투 로그'를 보여달라는 거지.

그때까지는 우리 다 같이 새끼 용 동굴에 서서 "도트 더 뿌려(MORE DOTS)!"라고 소리나 지르고 있어야겠지.