Is this even true?
AI 서비스의 API 비용과 실제 운영 비용 간의 괴리를 두고 사용자들 사이에서 치열한 논쟁이 벌어짐.
이거 20달러짜리 플랜인데, 진짜 이대로면 보조금 수준이 말이 안 되는 거 아니냐? (Codex한테 내 사용량 나눠서 현재 API 가격 기준으로 비용 계산해보라고 시켜봄)
AI 서비스의 운영 비용을 두고 단순히 추론 비용만 따질 것인지, 아니면 R&D와 인프라 등 전체 비용을 고려해야 하는지를 두고 사용자들 간에 의견이 팽팽하게 맞서고 있습니다.
너는 API 비용이 실제 숫자라고 가정하고 있는데, 전혀 그렇지 않아.
추론 비용은 그들에게 90% 이상의 매출 총이익을 남겨줘.
그거 지어낸 숫자야, 아니면 실제로 연구나 테스트 결과가 있는 거야?
실제로는 99.9% 정도 될걸. 계산해보면 돼. 만약 진공 상태에서 추론 비용만 따진다면 계산은 간단하거든. 백만 개의 출력 토큰을 만드는 데 전기가 얼마나 소비되는가? 그걸 위해 그들이 얼마를 지불하는가? 그리고 그걸 그들이 백만 토큰당 청구하는 실제 가격으로 나누면 되지.
지난번에 이 계산을 해보고 충격을 받았어. 가정용 전기 요금으로 계산해도 마진이 믿을 수 없을 정도였거든. 하지만 그건 진공 상태에서의 이야기고, 진짜 문제는 각 데이터를 구축하는 데 드는 비용이…
거기에 원래 모델 학습 비용도 포함해야 하지 않을까?
그리고 하드웨어 비용도.
인프라를 유지할 인력 비용도 있지.
모델을 만들기 위한 전체 R&D 비용도 포함해야지.
맞아, 엄청나게 비싼 AI GPU를 녹여가며 쓰는 비용을 상각해야지. 그건 데이터센터 자체의 전기료나 다른 운영 비용을 훨씬 뛰어넘는 추론 비용에 포함되어 있어.
이런 규모의 추론을 위한 수십억 달러짜리 하드웨어 비용은 무시하는 거야?
이런 규모의 추론을 위한 수십억 달러 규모의 하드웨어 비용은 무시하는 거야?
가격이 두 배로 뛴 하드웨어는 이미 본전 뽑고도 남은 자산이지.
저걸 도대체 누가 사냐?
중국 전체 수준이네
드디어 추론 비용은 사실상 공짜고, 진짜 비용은 학습 같은 다른 곳에 있다는 걸 이해하는 사람이 나타났네.
이 스레드 전체가 좀 짜증 나네. 학습 비용은 다 무시하자고? LLM을 학습시키는 사람들의 비용도 다 제외하고? 그 모든 걸 유지하고, Codex CLI, Codex 데스크톱, 결제, 지원 등을 운영할 회사가 필요하다는 건 누가 신경 써? 젠장, 여기 어떤 천재가 하드웨어랑 데이터센터 비용도 무시하고 그냥 전기세만 따지기로 했나 보네.
이 서브레딧은 우리가 공짜로 혜택을 받는 게 아니라는 사실을 부정하거나 정당화하려는 이상한 집착이 있어.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.