나는 로컬의 왕이다 😂
I am a King, but local 😂
핵심 요약
로컬 LLM을 돌리며 느끼는 자부심과, 트위터에서 본 엄청난 토큰 사용량에 대한 의구심을 다룬 글입니다.
- 로컬 LLM 운영 — 하루 1,200만 토큰을 처리하며 로컬 환경의 효율성을 즐김
- 토큰 사용량 논란 — 특정 인물의 분당 3,400만 토큰 사용 주장에 대한 의문 제기
- 인물 정보 공유 — 트위터 인플루언서 'Poteto'의 배경과 활동에 대한 커뮤니티의 궁금증
- 기술적 회의론 — 보고된 토큰 수치가 대부분 캐시 데이터일 것이라는 분석
하루 종일 Strata 엔진 두 개 돌리면서 초당 70tps씩, 하루에 1,200만 토큰이나 써대는 로컬 킹이 된 기분으로 살고 있었거든. 근데 트위터 보다가 poteto라는 사람이 분당 3,400만 토큰을 쓴다는 글을 보고 뇌 정지 옴 🤪
업데이트: 다들 얘가 누군지, 도대체 토큰을 어디다 그렇게 처박는지 궁금해하네. Poteto는 걔 트위터 닉네임이고, XAI가 인수하기 전에는 Cursor에서 일했음. 지금은 Cursor랑 GrokBot에 한 달에 PR 2,500개씩 찍어내고 있는 괴물임.

