세션당 500만 토큰 이상을 쓰면서 대체 뭘 하는 건가요? 진심으로 궁금합니다.

내가 토큰을 정확히 얼마나 썼는지는 모르겠는데, 대충 수억 단위는 족히 넘었을 거다.

이 정도면 일반적인 사람들보다는 훨씬 많이 쓴 편일 텐데, 난 사업 때문에 몇 년 전부터 AI를 꾸준히 써왔거든. 뭐 대기업 수준은 아니고 영세한 규모긴 한데, 행정 업무의 80%를 AI로 돌리고 있고, 목적에 맞는 툴도 몇 개 만들고, 마케팅, SEO, 웹사이트 10개 관리, 개인 프로젝트 몇 개, 그리고 최근에는 모델 성능이 좋아져서 예전부터 꿈꾸던 프로젝트까지 진행 중이야.

내 생각에 내 토큰 소비는 꽤 깔끔한 편이고, 어쩔 수 없이 버리는 거 빼면 낭비도 별로 없는 것 같아.

근데 궁금한 게, 나랑 비슷하거나 더 많은 토큰을 쓰고도 정작 쓸만한 건 하나도 못 뽑아내는 애들이 보이더라고. 무슨 반쪽짜리 기본 Next.js 앱 하나 만드는 데 말이야.

게임 개발 같은 건 토큰이 많이 들어갈 수 있다는 건 이해하는데, 그거 말고 대체 어떻게 하면 단일 페이지 Next.js 앱 하나 만드는 데 3억 토큰을 태우는 거냐? 진짜 이해가 안 가네.

난 AI 초기부터 써오면서 모델 발전이랑 같이 성장해온 케이스라, 토큰 소비량이 모델 성능 향상에 맞춰서 자연스럽게 늘어난 거거든.

그리고 한 번 질문할 때 제한량까지 꽉 채워서 날려먹는 애들은 대체 뭐냐? 난 살면서 그런 문제 겪어본 적이 없어서 도통 이해가 안 가네.

모델이 너무 똑똑해져서 사람들이 감당 못 할 수준으로 제멋대로 날뛰는 건가?

아니면 그냥 자기 실력을 못 믿어서, 혹은 귀찮아서, 자기가 뭘 원하는지도 모른 채 계속 프롬프트만 돌리면서 확인받으려는 건가? (비하하려는 건 아님. 나도 고생하면서 배웠으니까. 근데 난 내 코드베이스를 완벽하게 다룰 수 있는 모델이 없었을 때부터 LLM 도움받으면서 하나하나 직접 해결했거든. 모델이 다 해주는 게 아니라.)

아니면 작업 환경 세팅을 제대로 안 해서 그런가? 새로운 제품 쏟아지고 모델은 계속 진화하는데, 툴은 넘쳐나니까 작업 환경이 개판이 돼서 토큰만 엄청나게 잡아먹는 건가 싶기도 하고.

난 개발자가 아니라서 AI가 내 코드베이스 건드리는 거 엄청 조심스러워하거든. AI가 하는 말을 100% 믿지도 않고 (예전 모델들은 진짜 엉망이었으니까). 그래서 내 에이전트 작업 환경(애플리케이션 상위 단계)은 항상 최대한 깔끔하고 미니멀하게 유지하려고 해.