6x MI50 (96GB) vs 6x P40 (144GB) 환경에서 MiniMax M2.7 REAP 139B Q3_K_L 구동 테스트

나한테 최적이었던 시작 파라미터는 이거임:

HIP_VISIBLE_DEVICES=0,1,2,3,4,5 \
"$HOME/llama.cpp-hip/build-hip/bin/llama-server" \
  -m "$HOME/.lmstudio/models/mradermacher/m51Lab-MiniMax-M2.7-REAP-139B-A10B-i1-GGUF/m51Lab-MiniMax-M2.7-REAP-139B-A10B.i1-Q3_K_L.gguf" \
  --alias "minimax-m2.7-reap-139b-a10b-q3kl" \
  -dev ROCm0,ROCm1,ROCm2,ROCm3,ROCm4,ROCm5 \
  -ngl 999 \
  --fit off \
  --no-mmap \
  --split-mode layer \
  --tensor-split 1,1,1,1,1,1 \
  --ctx-size 65536 \
  --parallel 1 \
  --cache-type-k f16 \
  --cache-type-v f16 \
  --batch-size 2048 \
  --ubatch-size 256 \
  --flash-attn on \
  --jinja \
  --temp 1.0 \
  --top-p 0.95 \
  --top-k 64 \
  --min-p 0.0 \
  --presence-penalty 0.0 \
  --repeat-penalty 1.0 \
  --host 0.0.0.0 \
  --port 8080

6x MI50이랑 6x P40 비교는 이렇다:

재밌는 건 MI50이 P40보다 두 배는 더 좋은 카드라고 봐도 무방하다는 거임:

내 P40 서버가 디코드에서만 밀리고 MI50 박스랑 비비는 거 보고 좀 놀랐다. 이 카드들 아직 잠재력 엄청나게 남아있다는 증거지.

수정: Vulkan으로도 돌려봤는데 결과는 이랬음:

AMD는 엔비디아의 AI 지원에 비해 한참 뒤처져 있어요. 따라잡고는 있지만, 여전히 뒤처져 있죠.