4x R9700 클럽 가입 완료 | QFN 3.8 초기 벤치마크 결과 공유
Joined the 4x R9700 Club | Initial Benchmarks for QFN 3.8 Below
핵심 요약
4개의 Radeon AI PRO R9700 GPU를 탑재한 고성능 로컬 추론 서버를 구축하고 Qwen3.8-Flash-Next 모델의 다중 사용자 벤치마크 결과를 공유함.
- 하드웨어 구성 — EPYC 7402P와 4개의 R9700 GPU를 조합하여 128GB VRAM 환경 구축함.
- 벤치마크 결과 — 다중 사용자 환경에서 캐시 활용 시 매우 빠른 응답 속도와 안정적인 토큰 생성 성능을 확인함.
- 비용 및 용도 — 약 16,000 캐나다 달러를 투자하여 민감한 데이터를 다루는 비즈니스용 추론 서버로 활용함.
- 운영 효율성 — 프리필 속도는 사용자 수와 무관하게 일정하며, 캐시 최적화가 성능에 결정적인 영향을 미침.
r/R9700 서브레딧에도 올렸는데, 여기에도 초기 테스트 결과 공유해 본다.
tl;dr - 사용자 한 명당 약 190 tok/s 속도 나옴. 프리필(Prefill)은 사용자 수 상관없이 전체적으로 약 6,800 tok/s 찍힘. 에이전트 후속 질문은 0.2~2.5초 만에 시작되고, 사용자 8명이 각각 128K 컨텍스트를 돌려도 사용자당 80~225 tok/s로 글을 써 내려감. 최악의 경우, 사용자 8명이 동시에 128K 프롬프트를 새로 날리면 첫 토큰 나오는 데 2.5분 정도 걸림.
그래, 그래. 그래픽카드 모델이 제각각인 건 나도 알아(완벽주의자라 좀 거슬리긴 하는데, 어차피 케이스 안에 들어갈 거라 상관없음).
PC 사양:
-
CPU - EPYC 7402P
-
메인보드 - Asrock ROMED8-2T
-
RAM - 128gb DDR4 2666mh
-
GPU - Gigabyte R9700 3개, XFX R9700 1개. 모든 카드 전력 제한 210W 설정.
-
PSU - Seasonic Prime TX-1600W
-
케이스 - Phanteks Enthoo Pro 2 Server
-
팬 - 전면 140mm 3개, 중앙 120mm 3개, 후면 배기 120mm 1개.
지난 2주 동안 다 샀고, 총비용은 대략 1만 6천 캐나다 달러(CAD) 들었음. CPU, 램, 메인보드는 전부 이베이에서 업어왔다.
램이 충분할지는 좀 더 지켜봐야겠지만, 온라인에서 본 정보들 종합해 보면 내 용도에는 문제없을 듯함.
이제 본격적인 추론 테스트 돌릴 준비 다 됐는데, 혹시 모를 문제들 거르려고 방금 멤테스트, CPU 스트레스 테스트, GPU 스트레스 테스트까지 싹 돌려봤다.
풀로드 걸려도 생각보다 훨씬 조용함. 제트기 엔진 소리 날 줄 알았는데, 공기청정기 최고 단계로 틀어놓은 것보다 조용하더라.
선 정리도 꽤 만족스럽고, 케이스가 워낙 커서 조립하기 진짜 편했음. 팬 추가로 달 수 있는 공간이 따로 있는 것도 마음에 든다.
이건 내 사업용 다중 사용자 추론 서버로 만든 거임. 작년 내내 Strix Halo 395+ 128GB를 썼는데, 커뮤니티가 그 기기를 어디까지 끌어올렸는지 보는 게 진짜 경이로웠다.
Qwen 3.8 FN은 내 업무에 혁명이나 다름없었음. 우리 쪽은 민감한 데이터를 다루다 보니, 많은 고객이 AI 추론을 쓰는 것 자체를 엄청난 리스크로 생각했거든. 기술적으로는 가능했지만, 최대한 조심하는 게 좋으니까.
공유하고 싶어서 입이 근질거렸는데, 지금 벤치마크 돌리는 중이라 앞으로 두 시간은 더 걸릴 듯(컨텍스트 길고 동시 접속 많음).
----------------------- ------------벤치마크 ----------------------------------------------------------
!["Does censorship exist in [country]?", according to various LLMs](https://cf.preview.redd.it/does-censorship-exist-in-country-according-to-various-llms-v0-knnfwsmaje0i1.png?width=1080&crop=smart&auto=webp&s=b635757eb86e6d73129000b5f6ebcf4612b04044)
