서버 대여 후 RAM 용량이 큰 서버와 고성능 GPU로 벤치마크한 결과 공유: AMD EPYC과 ROME 메인보드는 정말 돈값 함
Rented some server time and wanted to share some learnings from benching using RAM heavier servers with some decent GPU: AMD EPYC and ROME motherboards really *ARE* worth it: Qwen 3.8 Flash Next Unsloth Q8 at 94 tok/s c=1, 456 tok/s c=8 .
핵심 요약
AMD EPYC 서버와 3090 GPU를 활용한 벤치마크 결과, 특정 환경에서 8개 스트림까지 거의 선형적인 성능 확장이 가능함을 확인했습니다.
- 성능 확장성 — Qwen 3.8 Flash Next 모델 사용 시 8개 스트림까지 선형적인 성능 향상 확인됨
- 하드웨어 가치 — 고가의 워크스테이션급 서버와 DDR4 RAM 조합이 VRAM 부족 문제를 해결하는 효율적인 대안임
- 벤치마크 환경 — vast.ai를 통해 AMD EPYC 7642와 3090 GPU 2대를 대여하여 테스트 진행
- 모델별 차이 — Strata와 Maya 엔진 간의 동시성 처리 성능 차이가 뚜렷하게 나타남
댓글에 로우 데이터 박아놨으니까 관심 있으면 봐라.
3줄 요약
이 빌드는 124k 컨텍스트 윈도우를 썼을 때, 최소 8개 스트림까지는 거의 선형적으로 성능이 뽑힌다. 그 이상은 테스트 안 해봄.
개요
오늘 전까지는 Strata를 그냥 장난감 수준으로 봤는데, 이제는 아니다.
vast.ai에서 인스턴스 몇 개 빌려서 벤치마크 돌려봤다. 벤치 돌리는 데만 한 40달러 날림.
테스트 환경은 2x AMD EPYC 7642에 ROME2D32GM-2T 메인보드, 램은 각각 251GB, 504GB DDR4 박았고, 3090 2개(사실 4개 꽂혀 있었는데 2개만 씀) 썼다.
런타임 및 모델
Strata(unsloth Q8까지)랑 Maya(GLM 5.3F, DSV4.1F)를 모델 사이즈별로 돌려봤다.
결과
Maya는 C=1 넘기는 거 생각도 하지 마라. Strata는 어떠냐고? 100 tok/s 넘던 게 Q_8에서 50 tok/s 살짝 넘는 수준으로 떨어진다.
진짜 머리 깨질 뻔해서 글 쓰게 만든 포인트는 이거다: 이 빌드 쓰면 QFN 3.8 Q8 기준으로 최소 8개 스트림까지는 거의 선형적으로 성능이 스케일링된다.
워크스테이션이나 서버 빌드 맞추는 게 돈값 한다. VRAM 때문에 낑낑댈 필요가 없음. 적당한 GPU 몇 개만 꽂으면 바로 달리는 거다. VRAM 대신 DRAM(이것도 비싸긴 한데 VRAM보단 훨씬 낫지)이랑 CPU(이건 뭐 가격 나쁘지 않음)만 챙기면 된다.
GLM이랑 DSV는 VRAM 더 있으면 성능 더 잘 나올 거다. 근데 3090 하나에 1,500달러 넘게 주고, 6~7년 전 출시가 그대로 내라는 건 진짜 선 넘는 거 아니냐? 개빡치네.
지루해 뒤질 것 같은 로우 데이터는 댓글 확인해라.
면책 조항: 광고 절대 아님. 차 살 때 시승해보고 사는 것처럼, 나도 사기 전에 한번 돌려보고 싶어서 그런 거다. Vast.ai가 이럴 땐 진짜 개쩐다. 궁금한 사양 있으면 돈 좀 내고 시간 빌려서(스토리지 비용은 좀 더 들지만), 원하는 런타임이랑 모델 다운받아서 벤치 돌려봐라.
