2x RTX PRO 6000 환경에서의 Qwen 3.6 벤치마크

실례지만 무슨 작업인지 물어봐도 될까?

FP8에서 품질 저하가 있다는 건 흥미롭네. 난 Q8(INT)이랑 비슷할 줄 알았거든. 구체적으로 어떤 점이 눈에 띄었어?

VLLM은 그런 식으로 작동 안 함. 동적 컨텍스트 메모리 할당을 쓰거든. 근데 대부분 작업은 12k~15k 토큰 안에서 끝남. 최대 길이는 모델이 지원하는 최대치로 설정했음.

왜 나는 RTX Pro 6k 하나로 27b 돌리는데 60tps밖에 안 나오지? vLLM 설정 좀 공유해줄 수 있어? concurrency 설정은 뭐야? N개의 요청을 동시에 처리한다는 뜻인가?

맞음.. concurrency는 동시에 처리하는 병렬 요청을 말함. 즉, 128개 요청을 동시에 처리하는 중인 거임. concurrency가 높으면 throughput은 좋아지는데 사용자당 latency는 늘어남. 워크플로우에 에이전트를 구현해서 10개 에이전트가 10개 작업을 따로 수행하게 하면 이득을 볼 수 있음. 하나가 60을 처리할 때 10개는 각각 40씩 처리할 수도 있겠지만, 전체 throughput은 400 정도가 되니까 여전히 엄청난 개선이지.

수치 대박이네, 어떤 설정 쓴 거야? 나도 여기서 max q 돌리는 중인데.

vllm serve Qwen/Qwen3.6-35B-A3B \ --served-model-name local-llm \ --tensor-parallel-size 2 \