백만 토큰당 가격 책정은 멍청한 짓이다

다들 각자만의 토크나이저를 쓴다는 걸 잊지 마. 그래서 똑같은 텍스트를 입력해도 앤스로픽 모델이 오픈AI 모델보다 토큰을 30% 정도 더 많이 먹어.

품질부터 출력 토큰 수, 모델별 작업당 비용까지 전부 개인의 사용 사례에 따라 달라지니까, 솔직히 공개된 작업당 비용 같은 건 믿지 마.

그리고 엔터프라이즈 작업이 아니라 구독형을 쓰고 있다면, 이건 그냥 작업당 비용의 문제가 아니라 작업당 주간 사용량의 퍼센트 문제거든. 그래서 벤치마크상의 비용 수치들은 서로 다른 제공업체를 비교할 때 아무런 의미가 없어.

토크나이저 때문에 백만 토큰당 가격 비교가 박살 나는 거야. 제공업체마다 같은 텍스트라도 토큰 수가 다르니까, 직접 자기 작업량으로 계산해보기 전까지는 공개된 수치는 별 의미가 없어. 작업 완료 단위로 가격을 매기고 캐시 적중률까지 포함해서 계산해 봐.

1년 뒤에는 대부분의 요청이 프론트엔드에서는 통합된 Claude나 GPT로 가고, 백엔드에서 알아서 작업에 맞는 최적의 모델과 사고 수준을 선택해 줄 것 같음. 지금 우리가 쓰는 시스템은 수동 변속기처럼 구시대 유물이 되겠지. 근데 지금은 아직 모델이나 하네스가 그 수준이 안 됨. 얼리어답터의 숙명이지 뭐.

나도 그렇게 될 거라 봄. 이미 그런 방향으로 가고 있고. 간단한 답변은 JEV 스타일 도구 쓰고, 빠른 응답은 하위 티어 모델 쓰고, 필요하면 상위 모델로 올리는 식이지. 우리 독자적인 하네스도 지금 그렇게 하고 있음(주로 OS 로컬 호스팅 모델로 트래픽 돌리는 용도). 근데 이게 아예 핵심 도구 자체에 내장될 것 같음.