r/LocalLLaMA•약 1개월 전•253•72논쟁

B300 8대로 Kimi K3(2.8T 파라미터) 호스팅해봄. 92 tok/s, 100만 토큰당 190달러

I hosted Kimi K3 (2.8T parameters) using 8 B300s. 92 tok/s, $190 per million tokens

핵심 요약

2.8T 규모의 Kimi K3 모델을 B300 8대로 호스팅한 실험 결과와 비용 효율성에 대한 분석입니다.

호스팅 실험 — B300 8대와 vLLM을 사용하여 92 tok/s의 성능을 기록함
비용 분석 — 단일 스트림 기준 100만 토큰당 190달러의 비용이 발생함
양자화 비교 — 1비트 GGUF 양자화 모델은 성능은 유지되나 토큰당 비용 효율이 낮음
향후 계획 — 단일 스트림의 한계를 극복하기 위해 병렬 서빙으로 전환할 예정임

내가 돌려본 환경:

Modal에서 8x B300, 시간당 $56.79, vLLM, 텐서 병렬 8, 네이티브 MXFP4 사용
콜드 부팅 약 27분 (1.56 TB 로드, JIT, CUDA 그래프 캡처 5개)
TTFT 0.92~1.02초, 디코드 92 tok/s 유지, 프롬프트 4개 평균 83 tok/s
출력 토큰 백만 개당 $190. 깔끔하게 한 번 돌리는 데 GPU 비용만 약 $36 깨짐. 켜두기만 하면 하루에 $1,363 나감.

Unsloth의 Dynamic GGUF도 돌려봤음.

이놈들 1비트 UD-IQ1_S (594 GB)는 llama.cpp로 8x A100-80GB에 딱 들어감.

시간당 $19.99로 2.8배 더 쌈. 결과는? 약 9 tok/s, TTFT 7~60초, 토큰 백만 개당 약 $620로 토큰당 비용은 3.3배 더 비쌈.

1비트인데도 퀄리티는 괜찮았음 (산수 잘하고 문맥도 자연스러움).

모든 플래그, Modal 배포 파일, 원본 벤치마크 JSON이 포함된 전체 글은 여기서 확인 가능: https://books.vizuara.ai/book/kimi-k3-hosting

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•253•72논쟁

B300 8대로 Kimi K3(2.8T 파라미터) 호스팅해봄. 92 tok/s, 100만 토큰당 190달러

I hosted Kimi K3 (2.8T parameters) using 8 B300s. 92 tok/s, $190 per million tokens

핵심 요약

2.8T 규모의 Kimi K3 모델을 B300 8대로 호스팅한 실험 결과와 비용 효율성에 대한 분석입니다.

호스팅 실험 — B300 8대와 vLLM을 사용하여 92 tok/s의 성능을 기록함
비용 분석 — 단일 스트림 기준 100만 토큰당 190달러의 비용이 발생함
양자화 비교 — 1비트 GGUF 양자화 모델은 성능은 유지되나 토큰당 비용 효율이 낮음
향후 계획 — 단일 스트림의 한계를 극복하기 위해 병렬 서빙으로 전환할 예정임

내가 돌려본 환경:

Modal에서 8x B300, 시간당 $56.79, vLLM, 텐서 병렬 8, 네이티브 MXFP4 사용
콜드 부팅 약 27분 (1.56 TB 로드, JIT, CUDA 그래프 캡처 5개)
TTFT 0.92~1.02초, 디코드 92 tok/s 유지, 프롬프트 4개 평균 83 tok/s
출력 토큰 백만 개당 $190. 깔끔하게 한 번 돌리는 데 GPU 비용만 약 $36 깨짐. 켜두기만 하면 하루에 $1,363 나감.

Unsloth의 Dynamic GGUF도 돌려봤음.

이놈들 1비트 UD-IQ1_S (594 GB)는 llama.cpp로 8x A100-80GB에 딱 들어감.

시간당 $19.99로 2.8배 더 쌈. 결과는? 약 9 tok/s, TTFT 7~60초, 토큰 백만 개당 약 $620로 토큰당 비용은 3.3배 더 비쌈.

1비트인데도 퀄리티는 괜찮았음 (산수 잘하고 문맥도 자연스러움).

모든 플래그, Modal 배포 파일, 원본 벤치마크 JSON이 포함된 전체 글은 여기서 확인 가능: https://books.vizuara.ai/book/kimi-k3-hosting

주요 댓글

r/localllama

대규모 모델 호스팅의 경제성과 1비트 양자화의 성능에 대해 기술적인 토론이 활발하게 이루어지고 있습니다.

277

효율성은 많은 사용자를 병렬로 처리할 때 나오는 거야. 그러니까 100만 토큰당 출력 비용 계산은 엉터리지.

게다가 1비트 양자화는 지식과 능력을 완전히 박살 내니까, 비교 자체가 엉터리야.

작성자 계산이 좀 많이 이상한데. 만약 진짜 100만 출력 토큰당 190달러라면, K3 추론 서비스를 제공해서 수익을 낼 수 있는 사람은 아무도 없을 거야(그렇게 하면 바로 파산할 테니까). 그래도 작성자가 제시한 기본 시간당 비용이 (불가능한 최저가인 스팟 가격이 아니라) 현실적인 가격이라는 점은 마음에 드네.

그리고 링크된 사이트가 너무 Claude 느낌이 나는데.

첫 문장을 다시 봐봐:

효율성은 많은 사용자를 병렬로 처리할 때 나오는 거야.

제공자가 한 명에게만 토큰을 제공한다면 100만 출력 토큰당 190달러가 '될 수도' 있겠지. 하지만 실제로는 그렇게 돌아가지 않아. 제공자들은 보통 수많은 동시 요청을 처리하거든. 제공자들은 연속 배치(continuous batching)를 사용해서 4개의 동시 요청을 처리해도 단일 요청보다 컴퓨팅 자원을 거의 더 쓰지 않으면서, 4명에게 각각 사용료를 청구할 수 있어. 그래서 수익을 낼 수 있는 거지. 작성자의 계산은 아마...

근데 이건 modal.com을 쓴 거잖아, 본인 GPU나 인프라가 아니라. 대형 업체들은 사용자 서비스할 때 modal 안 써 (뭐, 몇몇은 쓸 수도 있겠지만).

대규모 운영에서는 경제성이 전혀 다르지. 그리고 최대 동시 접속자 수를 처리하지 못하는 매 순간이 사실상 돈을 불태우는 거나 마찬가지임. 🔥
그래서 vGPU를 빌리는 건 이미 누군가 그 위에서 마진을 챙기기 때문에 더 비싼 거야.
동시 접속자가 많고 부하 분산이 잘 되어야 기기 효율이 좋아지는 거지.

Modal은 간단하게 테스트 돌려보기엔 진짜 좋은데, 프로덕션용으로 쓰기엔 나한테는 너무 비싸네. 더 싼 GPU 호스팅 업체 찾으면 비용은 쉽게 낮출 수 있을 듯.

헤이, 이건 그냥 호스팅을 처음 시도해 본 거라 쉽지 않다는 걸 배웠어.. 이제 병렬 서빙으로 넘어갈 거야.. 보고된 모든 지표는 내가 실제로 확인한 수치들이야.

대규모 MoE 모델의 경우, 병렬 서빙에서 종종 간과되지만 매우 중요한 요소는 접두사 캐시(prefix cache)를 위한 VRAM 여유 공간이 얼마나 있느냐야. 그렇지 않으면 각 요청의 프리필(prefill) 과정에서 메모리 대역폭을 다 잡아먹게 되고, 동시 처리 능력이 심각하게 제한될 거야(vllm 로그에서 평균 프롬프트 처리량과 생성 처리량을 주의 깊게 봐. 그런 상황에서는 생성 처리량이 가끔 0에 가깝게 떨어지는 걸 볼 수 있을 거야).

이건 가끔 더 흥미로운 상황으로 이어지기도 해. vllm이 작동하는 방식 때문에, GLM...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

OP는 자기 수치가 추론 제공업체들이 내는 비용이라고 말한 적 없음. 그냥 자기 실험 결과를 보고한 것뿐임.

고처리량 병렬 추론 시스템을 계획한 게 아니라면 왜 이런 인프라에 돈을 쓰는지 잘 모르겠네.

단일 스트림은 어떤 이점도 줄 수 없어.

그냥 내가 수행한 실험 결과를 공유하는 거야.. 이건 첫 단계일 뿐이고, 이제 병렬 서빙으로 넘어갈 거야.

deepseek v4 flash도 돌려봐

으악. 희생해줘서 고맙다고 해야 하나? 다음번엔 sglang이나 vllm으로 nvfp4 써서 병렬 서빙 돌려봐.

594GB짜리 1비트 양자화 모델 다운받을 땐 Xet이 문제였는데, 1.56TB짜리 원본 모델 받을 땐 왜 아니었는지 이해가 안 가네. 26185가 지난주에 머지됐으니까 Unsloth 포크는 이제 필요 없을지도 몰라. 네 글을 정독한 이유가 llama.cpp에서 '추론 가시성(reasoning visible)'이 '아니오'로 되어 있는 게 이해가 안 가서였거든. 지금도 여전히 이해가 안 가. 나도 llama.cpp로 K2.7을 '네이티브' Q4_X로 돌려봤는데 잘만 '생각'하던데. 템플릿이나 프리필(prefill) 문제 아닐까 싶어. 난 귀찮아서...

원문r/LocalLLaMA