r/LocalLLaMA•22일 전•11•16

4x Radeon AI Pro R9700 쓰시는 분들, 벤치마크 결과가 어떤가요?

4xRadeon AI Pro R9700 people, how are your benchmarks?

핵심 요약

사무용 AI 서버 구축을 위해 Radeon AI Pro R9700 4개 구성의 성능과 벤치마크 결과를 공유받고자 하는 질문글입니다.

성능 문의 — DeepSeek V4 및 Qwen 3.8 모델 구동 시의 벤치마크 결과 확인을 요청함
하드웨어 구성 — ROCm 7.2.4 및 PCIe 4.0 환경에서의 구동 사례가 공유됨
소프트웨어 팁 — vLLM Radiance 및 R9V 모드 사용 시 추론 속도가 대폭 향상됨을 제안함
AMD 환경의 고충 — 베어메탈 환경에서의 AMD vLLM 설정 및 드라이버 인식 문제에 대한 경험이 공유됨

사무용 AI 서버로 4xRadeon AI Pro R9700 빌드 맞출까 고민 중임.

형들은 이거 써보고 결과 어떰? 주로 DeepSeek V4 flash랑 Qwen 3.8 Flash 돌릴 생각인데, 오프로딩이나 빡세게 양자화해서 돌리면 할만하냐?

원문

커뮤니티 목록

r/LocalLLaMA•22일 전•11•16

4x Radeon AI Pro R9700 쓰시는 분들, 벤치마크 결과가 어떤가요?

4xRadeon AI Pro R9700 people, how are your benchmarks?

핵심 요약

사무용 AI 서버 구축을 위해 Radeon AI Pro R9700 4개 구성의 성능과 벤치마크 결과를 공유받고자 하는 질문글입니다.

성능 문의 — DeepSeek V4 및 Qwen 3.8 모델 구동 시의 벤치마크 결과 확인을 요청함
하드웨어 구성 — ROCm 7.2.4 및 PCIe 4.0 환경에서의 구동 사례가 공유됨
소프트웨어 팁 — vLLM Radiance 및 R9V 모드 사용 시 추론 속도가 대폭 향상됨을 제안함
AMD 환경의 고충 — 베어메탈 환경에서의 AMD vLLM 설정 및 드라이버 인식 문제에 대한 경험이 공유됨

사무용 AI 서버로 4xRadeon AI Pro R9700 빌드 맞출까 고민 중임.

형들은 이거 써보고 결과 어떰? 주로 DeepSeek V4 flash랑 Qwen 3.8 Flash 돌릴 생각인데, 오프로딩이나 빡세게 양자화해서 돌리면 할만하냐?

주요 댓글

r/localllama

R9700 4개 구성의 성능에 대해 vLLM 패치를 통한 최적화 가능성과 실제 사용자의 하드웨어 구성 사례가 공유됨.

[이미지]

ROCm 7.2.4
PCIe 4.0 (모든 슬롯 x16)
메인라인 llama.cpp

Qwen 3.6으로 벤치마크 실행 결과를 뽑아서 보고서를 만들었는데…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

Qwen 3.8 모델에는 vllm radiance / R9V 모드를 쓰세요. 속도가 거의 10배는 더 빠릅니다.

나도 동의함. 특히 프롬프트 처리 쪽이 그래. vllm 돌리는 4개 노드 구성이면 프리필(prefill)에서 6000tk/s까지 뽑을 수 있음.

지금 확인 중임. 팁 고맙다!

Qwen 3.8로 radiance를 써봤는데, 진짜 빠르더라!

internal-thorough · 2026-09-07 20:10:59
config: max_model_len=262144, tp=4, gpu_mem_util=0.90, dtype=auto, kv_cache=fp8, eager=false, quant=fp8

#	프롬프트 토큰	생성 토큰	TTFT (ms)	전체 (ms)	프롬프트 토큰/초	생성 토큰/초
1	155	256	137	2895	1131.4	92.8
2	155	256	134	2717	1156.7	99.1
3	155	256	124	2359	1250.0	114.5
4	155	256	129 ...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

혹시 이 빌드에 추천할 만한 메인보드가 있을까요? 7402p나 7401p도 보고 있는데 메인보드 가격이 200유로에서 1500유로까지 천차만별이네요. R9700 4개로 추론할 때 128GB RAM이면 충분할까요? 다들 RAM을 훨씬 많이 쓰는 것 같던데, 그건 학습이나 파인튜닝, 혹은 CPU 오프로딩을 많이 할 때 쓰는 것 같아서요. 저는 그렇게까지는 안 할 거거든요.

이미 서브 PC용으로 R9700 하나를 주문하긴 했는데, 태양광/배터리로 AI 장비를 돌릴 기회가 생겨서…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

난 Huananzhi H12-8D 쓰고 있음. 500달러 들였고. 128GB면 충분함. 램을 다 쓰는 일은 거의 없더라.

정말 감사합니다! 혹시 Deepseek v4 flash도 돌려보셨나요?

그건 내 포스트에 있는 테스트 3번임.

llama.cpp로 돌렸을 때는 수치가 좀 부실했는데, 이 결과들은 괜찮네:

모델	테스트	t/s	피크 t/s	ttfr (ms)	est_ppt (ms)	e2e_ttft (ms)
Qwen3.8-Flash-Next	pp2048	8843.04 ± 15.33		331.39 ± 2.17	215.01 ± 2.17	331.39 ± 2.17
Qwen3.8-Flash-Next	tg32	107.99 ± 7.85	111.47 ± 8.11
Qwen3.8-Flash-Next	pp2048 @ d4096	7041.22 ± 48.84		897.73 ± 8.50	781.35 ± 8.50	897.73 ± 8.50
Qwen3.8-Flash-Next	tg32 ...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

솔직히 iq4가 생성 속도에서 q8을 이길 줄은 몰랐네.

저도 같은 고민 중입니다. 베어메탈(컨테이너 아님) 환경에서 AMD vLLM 돌리는 게 좀 고역이네요. 사무실에서 R9700 하나로 테스트해 봤는데 서버에 제대로 등록도 안 되고 그냥 일반 PCIe 장치로만 잡히더라고요. 물론 llama.cpp는 Vulkan이랑 ROCm 백엔드가 잘 되어 있지만, vLLM은 여전히 병렬 처리 괴물이라서요.

NVIDIA(a30, l4, l40 등) 말고 다른 장치를 써보려는 건데, 저랑 구매 담당자 둘 다 AMD는 좀 미심쩍어하는 상태입니다.

적절한 vLLM 패치와 모델을 쓰면 R9700 4개로도 진짜 강력한 성능을 낼 수 있음. Qwen3.8.-Flash-Next 기준으로 단일 스트림 생성에서 80-120 tps, prefill은 대략 4000-6000 정도 나오는 듯 (vLLM이 보고하는 prefill 수치는 믿을 게 못 되니까). 자세한 내용은 이 포스트를 참고해.

브로슈어에 적힌 tok/s는 실제 멀티 GPU 스택 성능이랑 거의 안 맞음. 프롬프트 tok/s, 생성 tok/s, 전력 소모량, 그리고 텐서 병렬 처리를 쓰는지 아니면 그냥 샤딩하는 건지 밝혀야 함. 컨텍스트 길이도 말해주고. 가중치보다 KV 캐시가 예쁜 숫자들 다 깎아먹는 경우가 많거든.

-8

Launch80 디스코드 확인해 보세요. R9700 관련해서 온갖 마법 같은 일들이 거기서 벌어지고 있습니다. https://discord.com/channels/1469905184892391597/1518682603962630287

원문r/LocalLLaMA

지금 같이 볼 만한 글

r/LocalLLaMA•약 23시간 전

FT: 미국 기업들, 비싼 프론티어 AI 거부하고 오픈 모델 채택

미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.

551187

Reddit 원문

r/ChatGPT & r/OpenAI•약 10시간 전

끝이 없네

AI의 능력과 한계를 둘러싼 커뮤니티 내의 끊임없는 논쟁과 반목을 다룬 포스트입니다.

AI의 능력과 한계를 둘러싼 커뮤니티 내의 끊임없는 논쟁과 반목을 다룬 포스트입니다.

727138논쟁

Reddit 원문

r/vibecoding•1일 전

새로운 개발 타임라인

개발의 마지막 10%를 완성하는 데 걸리는 시간과 고통에 대한 공감과 비판.

개발의 마지막 10%를 완성하는 데 걸리는 시간과 고통에 대한 공감과 비판.

1601111

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

R9700 4개 구성의 성능에 대해 vLLM 패치를 통한 최적화 가능성과 실제 사용자의 하드웨어 구성 사례가 공유됨.

[이미지]

ROCm 7.2.4
PCIe 4.0 (모든 슬롯 x16)
메인라인 llama.cpp

Qwen 3.6으로 벤치마크 실행 결과를 뽑아서 보고서를 만들었는데…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

Qwen 3.8 모델에는 vllm radiance / R9V 모드를 쓰세요. 속도가 거의 10배는 더 빠릅니다.

나도 동의함. 특히 프롬프트 처리 쪽이 그래. vllm 돌리는 4개 노드 구성이면 프리필(prefill)에서 6000tk/s까지 뽑을 수 있음.

지금 확인 중임. 팁 고맙다!

Qwen 3.8로 radiance를 써봤는데, 진짜 빠르더라!

internal-thorough · 2026-09-07 20:10:59
config: max_model_len=262144, tp=4, gpu_mem_util=0.90, dtype=auto, kv_cache=fp8, eager=false, quant=fp8

#	프롬프트 토큰	생성 토큰	TTFT (ms)	전체 (ms)	프롬프트 토큰/초	생성 토큰/초
1	155	256	137	2895	1131.4	92.8
2	155	256	134	2717	1156.7	99.1
3	155	256	124	2359	1250.0	114.5
4	155	256	129 ...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

이미 서브 PC용으로 R9700 하나를 주문하긴 했는데, 태양광/배터리로 AI 장비를 돌릴 기회가 생겨서…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

난 Huananzhi H12-8D 쓰고 있음. 500달러 들였고. 128GB면 충분함. 램을 다 쓰는 일은 거의 없더라.

정말 감사합니다! 혹시 Deepseek v4 flash도 돌려보셨나요?

그건 내 포스트에 있는 테스트 3번임.

llama.cpp로 돌렸을 때는 수치가 좀 부실했는데, 이 결과들은 괜찮네:

모델	테스트	t/s	피크 t/s	ttfr (ms)	est_ppt (ms)	e2e_ttft (ms)
Qwen3.8-Flash-Next	pp2048	8843.04 ± 15.33		331.39 ± 2.17	215.01 ± 2.17	331.39 ± 2.17
Qwen3.8-Flash-Next	tg32	107.99 ± 7.85	111.47 ± 8.11
Qwen3.8-Flash-Next	pp2048 @ d4096	7041.22 ± 48.84		897.73 ± 8.50	781.35 ± 8.50	897.73 ± 8.50
Qwen3.8-Flash-Next	tg32 ...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

솔직히 iq4가 생성 속도에서 q8을 이길 줄은 몰랐네.

NVIDIA(a30, l4, l40 등) 말고 다른 장치를 써보려는 건데, 저랑 구매 담당자 둘 다 AMD는 좀 미심쩍어하는 상태입니다.

-8

Launch80 디스코드 확인해 보세요. R9700 관련해서 온갖 마법 같은 일들이 거기서 벌어지고 있습니다. https://discord.com/channels/1469905184892391597/1518682603962630287

원문r/LocalLLaMA