2x Spark vs 2x RTX 6000 96GB 환경에서의 MiniMax M2.7 AWQ-4bit 성능 및 에너지 효율 비교

두 개의 요청을 병렬로 처리할 때 결과가 좀 이상해집니다(각 컨텍스트 크기에서의 모든 벤치마크는 3번 실행 후 평균을 냈습니다).

음, 모든 이유를 다 설명할 수는 없으니 제가 잘못하고 있는 게 있다면 알려주세요 하하. 하지만 병렬로 높은 컨텍스트를 처리할 때 KV-캐시가 한 번에 감당할 수 있는 한계에 도달해서 요청이 스로틀링되고 성능이 박살 나는 것 같습니다.

RunPod 설정

• GPU: 2xRTX PRO 6000 96GB
• 비용: 시간당 $3.78 (더 저렴한 옵션도 있음) (또는 구매 시 약 $20K)
• 이미지: vLLM 최신 버전 (vllm/vllm-openai:latest)
• 모델 실행까지 걸리는 시간: 약 5-10분 (대부분 HF에서 130GB를 다운로드하는 시간에 좌우됨)
• 스토리지: "Container disk" 160GB만 사용, 나머지는 0 (매우 비싼 영구 스토리지는 필요 없음)
• "컨테이너 시작 명령어" (재현용)

cyankiwi/MiniMax-M2.7-AWQ-4bit --host 0.0.0.0 --port 8000 --tensor-parallel-size 2 --gpu-memory-utilization=0.95 --trust-remote-code --kv-cache-dtype fp8_e4m3 --enable-auto-tool-choice --tool-call-parser minimax_m2

• 전력 소비량 (추정치): 1450W (약간 과하게 잡았을 수도 있습니다. 확실치 않으니 수정 환영하며, 스레드리퍼 CPU 정도를 가정했습니다)

Spark 설정

• 2x Asus Ascent GX10
• 비용: 구매 시 약 $7K (렌트 옵션은 제한적)
• 전력 소비량: 평균 365W (모델이 준비된 상태에서 유휴 전력 100W - 이건 좀 별로라고 생각함) | 수정: 이 값은 벽면 콘센트에서 개별 스마트 플러그를 사용해 측정함

이 레시피를 사용함: https://github.com/eugr/spark-vllm-docker/blob/main/recipes/minimax-m2.7-awq.yaml (fp8 KV-캐시로 조정), ./run-recipe.sh minimax-m2.7-awq --no-ray로 실행

벤치마크

uvx llama-benchy --base-url https://{pod_id}-8000.proxy.runpod.net/v1 --depth 0 4096 8192 16384 32768 65536 131072 --latency-mode generation --concurrency 1 2 --tg 512

(더 많은 동시성으로 테스트했지만, 분석은 1개 및 2개 동시 요청에 집중했습니다. 결과는 여기서 확인 가능: https://nicefox.net/benchmarks/minimax-m2.7-awq-4bit/benchmarks_concurrency.md )

결론

음... 프리필은 2.7배 더 빠르고, 토큰 생성은 4.9배 더 빠르며, 두 설정 모두 비슷한 에너지 효율을 보여줍니다. 제 생각엔 Max-Q 버전이 매우 에너지 효율적일 것 같습니다.

가장 큰 차이점은 Spark 클러스터는 제가 매일 쓰는 장비라 최상의 설정을 위해 시간을 쏟았다는 점이고, RTX 6000은 RunPod에서 같은 파라미터로 vLLM 이미지를 '그냥' 실행했다는 점입니다. 최적화할 여지는 분명히 있습니다.

작은 회사가 온프레미스로 제대로 구축할 수 있도록 돕고 있어서 2x RTX 6000 설정에 관심이 많습니다. 더 나은 설정값을 알려주시면 다시 벤치마크해보고 싶습니다.

더 자세한 내용은 여기서 확인하세요 (데이터만 정리되어 있습니다): https://nicefox.net/benchmarks/minimax-m2.7-awq-4bit/