왜 ChatGPT는 30분 동안 연산 낭비하기 전에 경고를 안 해줄까?
Why Doesn’t ChatGPT Warn You Before Wasting 30 Minutes of Compute?
핵심 요약
대규모 작업 중 사용량 제한에 걸려 연산이 무용지물이 되는 상황에 대한 불만과 해결책 공유.
- 연산 낭비 문제 — 대규모 작업 도중 사용량 제한으로 인해 결과물 없이 연산만 소모됨.
- 사용자 해결책 — 작업 재시작 대신 제한 해제 후 '계속'하라고 요청하는 방식 권장.
- 모델 최적화 — 더 가벼운 모델을 사용하거나 프롬프트 단계를 나누는 전략 제안.
- 기술적 한계 — 모델이 작업 완료 전 정확한 토큰 소모량을 예측하기 어렵다는 의견.
GPT-6 Astra 써서 10만 자 넘는 소스 자료로 70페이지짜리 문서 만드는 중인데, 처리 속도 점프한 건 진짜 지린다. 근데 웃긴 게 뭔지 아냐? 대규모 작업을 시키면 30~40분 동안 서버 자원 엄청나게 갈아 넣으면서 뺑이 치다가, 정작 결과물은 한 글자도 안 뱉고 5시간 사용 제한 에러를 띄워버림. 그래서 빡쳐서 새 채팅 파고 작업량 좀 줄여서 다시 시키면 그제야 돌아감.
이 짓을 몇 번이나 반복했는지 모르겠다. ChatGPT랑 Gemini 쪽 계산기 두드려보면 이런 대규모 작업 한 번 돌리는 데 API 기준으로 대충 3~5달러 정도는 깨질 텐데, 물론 OpenAI 내부 원가는 알 길이 없지. 근데 그 추정치가 조금이라도 맞다면, 그냥 "야, 이 작업은 네 사용량 제한 넘길 것 같으니까 세 번으로 나눠서 해"라고 말해주는 게 훨씬 싸게 먹히지 않냐? 근데 얘네는 30분 동안 서버 자원 다 써놓고 결과물은 싹 날려버린 뒤에, 내가 바로 다시 시작하게 만듦.
이런 식으로 문서 하나 뽑으려고 4번 반복하면 OpenAI는 내 프로젝트 하나에만 서버 비용 20달러를 태우는 꼴임. 아니, 어차피 제한 걸릴 거 뻔히 알면서 왜 30분 동안 서버를 풀가동하게 놔두고 진행 상황을 다 날려버리는 거냐? 20달러짜리 Plus 구독료 내는 입장에서 이건 서버 비용 낭비도 이런 천문학적인 낭비가 없지 않냐?
