토요일 자랑 시간: 인텔 Arc B140 빌드.

알겠는데, 듀얼 3090이 초기 설정만으로 q8 모델 돌릴 때 네 카드보다 토큰 생성 성능이 300% 이상 더 좋아. 심지어 활용 가능한 nvlink도 안 쓴 상태에서 말이지. 가성비로 따져도 3090이 훨씬 앞서. 인텔이랑 AMD가 좋아지고 있다는 걸 부정하는 건 아니고, 나도 연구용으로 구매 고려 중이야.

토큰 생성 속도는 거의 순수하게 VRAM 속도에 좌우되니까, 최적화된 스택을 비교했을 때 3090이 300% 더 빠를 리는 절대 없음(936GB/s vs 608GB/s). 아래 누가 3090 2장으로 Qwen3.8-27B 돌려서 35t/s 나온다고 올렸던데(어떤 스택 썼는지는 정보가 없지만). 내 듀얼 Arc Pro B70은 vllm 써서 32t/s 나옴.
인텔 카드는 PCIe 버스를 NVLink 대용으로 쓰니까 텐서 병렬 처리할 때 PCIe 세대랑 레인 수에 영향을 받을 거임.
인텔 카드의 장점은…

선생님, 그렇게 자신만만한 말투로 글 쓰는 것 좀 자제하시죠. 35tok/s는 아무런 튜닝도 안 했을 때 나오는 수치고, 아마 p2p가 아닌 PCIe 병목 현상 때문일 겁니다. 전 llama에서 70-100tok/s 나오고 있고, vllm 초기 디코딩은 150tok/s까지 찍히는데 내일쯤이면 더 올릴 수 있을 것 같네요. 그리고 PCIe는 'NVLink 대안'이 아니라 그냥 PCIe입니다. 수고하세요.

상세한 답변 고마워. Qwen의 새로운 3.8 27B 모델을 Q4/Q6/Q8로 돌릴 때 속도가 어느 정도 나오는지 알려줄 수 있어? 특히 프리필/프롬프트 처리랑 디코드 속도 말이야. 진짜 궁금함. 지금 ARC 카드가 너무 저평가됐다고 생각함. GPU 슬롯 2개에 VRAM 64GB를 약 3300 캐나다 달러에 맞출 수 있다는 건 미친 수준이지.

여기 내 답글 확인해.

전 vllm을 씁니다. 제 시스템이 실무용이라 너무 오래 멈춰둘 수가 없어서 테스트를 많이 해볼 순 없네요. 제 FP8 성능은 여기 있습니다: https://www.reddit.com/r/LocalLLaMA/comments/1vpkomt/comment/p4056m2/ (Q8은 아마 pp에서 조금 더 빠르고 tg에서는 비슷할 겁니다).

이건 Q4에 가까운 스냅샷(cyankiwi/Qwen3.8-27B-AWQ-INT4) 성능입니다: `| model | test | t/s | peak t/s | ttfr (ms) | est_ppt (ms) | e2e_ttft (ms) | |:------------------------------|--------:|----------------:|-------- …

MoE가 적용된 새로운 Qwen 3.8이 나오길 기대하고 있음. 60B면 완벽할 듯.

듀얼 GPU가 Strix Halo보다 확실히 빠르고 가성비도 더 좋을 겁니다. 하지만 Strix Halo 시스템 전체 가격보다 작성자님 빌드에 들어간 GPU 가격이 더 비싼데, 가격이 절반이라고 주장하는 건 좀 어불성설이네요.