3xMI50 32GB로 DS V4-Flash-0731 로컬 구동 성공 (약 15 t/s)
Ran DS V4-Flash-0731 Locally on 3xMI50 32GB @ ~15 t/s TG
핵심 요약
3개의 MI50 GPU를 활용해 DeepSeek V4-Flash 모델을 로컬에서 안정적으로 구동한 사례입니다.
- 하드웨어 구성 — 3xMI50 32GB VRAM 환경에서 90.9GB 모델 구동함
- 성능 지표 — 텍스트 생성 시 안정적인 15-16 t/s 속도 기록함
- 기능 테스트 — 루빅스 큐브 HTML 애니메이션 생성 코드를 성공적으로 출력함
- 로컬 구동 — API 의존 없이 로컬에서 모델을 실행할 수 있다는 점에 만족함
다들 안녕. 짧게 핵심만 말할게.
TL;DR:
DS V4-Flash-0731 @ UD-IQ2_M 모델을 3xMI50(90.9GB 모델, 96GB VRAM) 환경에서 VRAM에 완전히 올려서 돌려봤어.
llama-server에서 확인한 실제 속도는 이래:
- 텍스트 생성: 초당 약 15-16 토큰으로 안정적이야. 모델이 3만 토큰 넘게 답변을 뱉어낼 때도 14 토큰 밑으로 떨어진 적이 없어.
- 프롬프트 처리: 초당 약 105-110 토큰 정도 나와. 짧은 프롬프트 처리할 땐 속도가 좀 떨어지긴 하는데, 이건 원래 그런 거니까.
관심 있는 사람들을 위한 llama-server CLI 로그: https://pastebin.com/nXy9v0x8
모델이랑 짧게 대화 좀 해봤는데 대체로 괜찮더라. 딱 하나 눈에 띄는 실수가 있었는데, MI50 메모리 대역폭(1 TB/s)이랑 PCIe 4.0 양방향 대역폭(64 GB/s)을 헷갈리더라고.
대화 내용은 llama-server 웹 UI에서 .jsonl로 뽑아놨어. 여기서 확인해: https://pastebin.com/CwHm5cTf
지금 퀀트 품질까지 꼼꼼하게 따져볼 시간은 없어서 코딩 테스트 딱 하나만 돌려봤어. 16시간 전에 u/perelmanych가 올린 이 글에 있는 테스트를 그대로 가져왔어. DeepSeek 공식 API로 DS V4-Flash-0731이 직접 짠 루빅스 큐브 코드 테스트인데, 아마 풀 정밀도 모델로 돌린 거겠지. 뭐 풀 정밀도라고 해봤자 기본적으로 FP4 + FP8 혼합 정밀도지만. 사용한 프롬프트는 아래와 같아(위 글에 나온 거랑 똑같음):
Create a single HTML file with a canvas animation: a 3D Rubik's Cube rendered with simulated perspective on the 2D canvas (no WebGL, no libraries). Orientation: white on top, green facing front, red on the right. Use standard notation: /F/B = clockwise quarter turn of the right/left/up/down/front/back face (viewed from that face), an apostrophe = counterclockwise. Sequence: (1) Show the solved cube slowly rotating for 2 seconds. (2) Scramble it with exactly these 10 animated face turns, one at a time: R, U, F', D, L', B, R', U', F, D'. (3) Pause 2 seconds. (4) Solve it with exactly these 10 animated face turns: D, F', U, R, B', L, D', F, U', R'. (5) End on the solved cube rotating slowly. Each face turn must be smoothly animated (~0.5s), with correct sticker colors tracked through every move, visible gaps between stickers, and shading based on face orientation. The cube keeps slowly rotating in space throughout. No user interaction.
