r/LocalLLaMA•3개월 전•57•54

48GB VRAM + Qwen 3.6 27B 최적 설정 공유

Best Settings for 48GB VRAM + Qwen 3.6 27B

핵심 요약

RTX 4090과 3090 조합에서 Qwen 27B 모델을 구동하기 위한 llama.cpp 최적화 설정과 성능 공유.

하드웨어 구성 — RTX 4090과 3090을 조합한 48GB VRAM 환경
llama.cpp 설정 — 250k 컨텍스트와 MTP 추론을 활용한 최적화
성능 지표 — 75-100t/s의 토큰 생성 속도 달성
사용자 피드백 — 병렬 요청 시 성능 저하 문제와 벤치마크 스크립트 논의

여러분, RTX 4090 + RTX 3090 조합(총 48GB VRAM)에서 llama.cpp의 tensor split을 사용해 Qwen3.6 27B (Q8_0)를 돌리고 있는데, 지금까지 제가 써본 설정 중 가장 잘 작동하는 걸 공유하려고 합니다. 더 좋은 설정 아시는 분 계신가요?

하드웨어: RTX 4090 (24GB) + RTX 3090 (24GB), 총 48GB VRAM

OS: Arch Linux (디스플레이 출력용으로 내장 그래픽 사용)

설정:

- Quant: Q8_0
- Split mode: tensor
- Layers on GPU: -ngl 999
- Context: 250k (-c 250000)
- Speculative decoding: --spec-type draft-mtp --spec-draft-n-max 4
- parallel requests: -np 3
- Unified KV cache: -kvu
- Chat template: --chat-template-kwargs '{"preserve_thinking": true}'
- Flags: --no-mmap -fa on --jinja -fit off --no-op-offload
- Vision: mmproj-F16 with --no-mmproj-offload

이렇게 하니 75-100t/s의 생성 속도와 1500 pp, 250k 비양자화 컨텍스트 + 비전 + MTP 성능이 나옵니다.

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•57•54

48GB VRAM + Qwen 3.6 27B 최적 설정 공유

Best Settings for 48GB VRAM + Qwen 3.6 27B

핵심 요약

RTX 4090과 3090 조합에서 Qwen 27B 모델을 구동하기 위한 llama.cpp 최적화 설정과 성능 공유.

하드웨어 구성 — RTX 4090과 3090을 조합한 48GB VRAM 환경
llama.cpp 설정 — 250k 컨텍스트와 MTP 추론을 활용한 최적화
성능 지표 — 75-100t/s의 토큰 생성 속도 달성
사용자 피드백 — 병렬 요청 시 성능 저하 문제와 벤치마크 스크립트 논의

하드웨어: RTX 4090 (24GB) + RTX 3090 (24GB), 총 48GB VRAM

OS: Arch Linux (디스플레이 출력용으로 내장 그래픽 사용)

설정:

- Quant: Q8_0
- Split mode: tensor
- Layers on GPU: -ngl 999
- Context: 250k (-c 250000)
- Speculative decoding: --spec-type draft-mtp --spec-draft-n-max 4
- parallel requests: -np 3
- Unified KV cache: -kvu
- Chat template: --chat-template-kwargs '{"preserve_thinking": true}'
- Flags: --no-mmap -fa on --jinja -fit off --no-op-offload
- Vision: mmproj-F16 with --no-mmproj-offload

이렇게 하니 75-100t/s의 생성 속도와 1500 pp, 250k 비양자화 컨텍스트 + 비전 + MTP 성능이 나옵니다.

주요 댓글

r/localllama

사용자들은 Qwen 3.6 모델의 최적 설정을 위해 퀀트 방식과 MTP, RoPE scaling 활용법을 논의하며, vLLM 사용 시 발생하는 제약 사항에 대해 의견을 나누고 있음.

Club 3090의 bench.sh 스크립트를 확인해보세요. 표준화된 벤치마크가 있으면 결과를 비교하기 훨씬 쉽습니다. 저는 그쪽 코드 벤치마크로 8비트 양자화 모델 돌렸을 때 초당 약 111 토큰 정도 나오네요. 5번 실행한 평균값입니다.

설정값이 어떻게 되시나요? 저는 듀얼 3090에 split mode tensor를 써도 Q6_K_XL (UD)로 초당 89 토큰을 넘기기가 힘드네요. 제가 뭘 놓치고 있는 걸까요?

저도 같은 상황인데 Q6 KXL 쓰고 있고 보통 2x3090을 ~230w 정도로 제한합니다.

vLLM(club 3090)을 쓰면 거의 두 배는 나오더라고요.

club 3090은 Q4인 걸로 아는데, 그럼 조건이 완전히 같은 건 아니지 않나요? 제 3090들은 250W로 제한해 뒀습니다. 좀 오래된 카드들이라 전력을 더 먹는 편이에요.

설정은 기본 fp8-max 설정임. 8-bit 가중치 / 8-bit 캐시. 난 클럭을 1800Mhz로 제한하는데, 이렇게 하면 핫스팟 온도가 85도 미만으로 유지되고 성능 저하도 거의 없거든. 같은 벤치마크에서 89 tok/sec밖에 안 나온다는 게 좀 믿기 힘든데, 뭔가 심각한 병목이 있는 거 아님? 혹시 스로틀링 걸리는 거 아냐? 온도 어때? 카드들 PCIe 모드는 어떻게 설정돼 있고?

내 그래픽카드들은 각각 250W로 제한 걸어놨고 1500MHz나 60도 핫스팟 이상으로 안 올라감. 둘 다 PCIe 4.0 x8/x8 연결 상태임. 이 벤치마크 돌려봐야겠네, 89 tok/s는 내가 직접 돌린 벤치마크 결과였음.

사용하는 벤치마크가 달라서 그런 듯. 111 tps는 코딩 벤치마크에서 디코드 평균값임.

llama.cpp 쓰는 거야, 아니면 vLLM 쓰는 거야?

그 웹사이트 링크하려고 했던 거 맞음? 정보도 별로 없고 사람들한테 wget | bash 하라고 하던데.

해결함 ㄳ

Qwen 3.6 모델의 Q8_0 퀀트가 Q6_K_XL 퀀트보다 perplexity가 더 높았던 걸로 기억함.

MTP랑 ngram-mod를 같이 쓰는 것도 추천함:

spec-type = draft-mtp,ngram-mod
spec-draft-n-max = 2
spec-ngram-mod-n-min = 24
spec-ngram-mod-n-max = 64

더 큰 컨텍스트를 위해 RoPE scaling을 실험해보는 것도 괜찮을 듯. 이건 MoE 모델 512k용 설정임...

rope-scaling=yarn
rope-scale=2
yarn-orig-ctx=262144
override-kv="qwen35moe.context_length=int:1000000"

NVLink 쓰시나요? 저는 NVLink 없는 듀얼 3090인데, split mode tensor로 -np 1 돌리면 속도가 잘 나오지만 병렬 요청을 넣으면 tg(토큰 생성 속도)가 엄청나게 떨어지네요.

아뇨, NVLink는 없고 저도 똑같습니다. 병렬 요청 넣으면 tg 떨어져요.