Mimo와 DeepSeek의 AI 최적화 능력은 정말 놀랍네요

추론 비용 자체를 올리기보다는 사용량을 제한해서 추론 클러스터가 감당할 수 있게 하려는 걸 거야.

새로운 정보 고마워.

Codex 보면 '출력 토큰'이 나오는데... 아주 작은 파일 5개 정도 수정하는 데 20분 만에 500만 토큰을 썼어.

하루 2시간 정도 적당히 사용하면 620분, 즉 6500만 토큰 = 하루 약 3,000만 토큰이 되고, 이건 하루 25~50달러 정도야. 한 달이면 500달러, 1년이면 5,000달러지... 절대 안 싸... 파일이 커지면 토큰은 훨씬 더 많이 잡아먹을 거고.

물론 내 예시는 Codex지만, DeepSeek도 어떻게든 토큰을 펑펑 쓰게 만들 방법을 찾을 거라고 확신해.

응, 그렇게 단순하지 않아. 내가 가능한 한 로컬 모델을 쓰려고 하는 주된 이유는 '입력' 토큰 비용 때문이야.

RP든 오픈코드든 Codex든 상관없어. 64k 컨텍스트를 쓰는데 사소한 작업이나 툴 호출 때문에 계속 요청을 보내면 엄청난 청구서를 받게 돼. 진짜 무서운 건 입력 토큰이야. 캐시가 도움이 되긴 하지만 여전히 돈을 미친 듯이 잡아먹지.

지금 상시 50% 할인 중인데, 가격이 두 배가 되는 게 아니야.

가격 두 배로 올렸는데도 여전히 말도 안 되게 싸네.

걔네 DeepSeek 출신 인력들 영입했어.

나한테는 Mimo가 DeepSeek보다 더 나은 듯.

DeepSeek 진짜 대박임. 저렴한 비용으로 일 처리하는 방식 보면 감탄만 나옴. 너무 좋음.