vLLM 0.22.1에서 2× Radeon AI PRO R9700 (RDNA4/gfx1201) 구동하기 — 긴 문맥 디코딩 절벽 현상 해결법 (그리고 FP8을 파고들며 배운 점)

vLLM 0.22.1에는 백엔드가 이미 컴파일되어 있음. 그냥 CDNA(MI300/MI350) 전용으로 막혀있을 뿐임. 게이트 하나 풀고 선택해주면 됨:

• vllm/_aiter_ops.py에서 is_aiter_found_and_supported()가 on_mi3xx()를 반환하게 되어 있는데, 여기에 gfx1x도 허용하게 바꿔라: return on_mi3xx() or bool(getattr(_rocmmod, "_ON_GFX1X", False))
• 실행할 때 --attention-backend ROCM_AITER_UNIFIED_ATTN, VLLM_ROCM_USE_AITER=1 옵션을 주고, 나머지는 다 꺼버려라 (VLLM_ROCM_USE_AITER_MHA=0, _PAGED_ATTN=0, _MOE=0, _LINEAR=0). 이거 안 끄면 gfx1201 커널 없어서 MoE 초기화할 때 뻗음. 그리고 FLASH_ATTENTION_TRITON_AMD_ENABLE=TRUE도 추가하고.
• 이렇게 하면 KV 블록 사이즈가 자동으로 64(2의 거듭제곱)로 설정되는데, 이게 Qwen3.6 하이브리드 레이아웃에서 AITER TILE_SIZE 어설트 걸리는 걸 피해 가게 해줌.

결과 (Qwen3.6-35B-A3B-FP8, TP2, MTP3, bf16 KV) — 모든 깊이에서 확실히 더 빠르고, 컨텍스트가 길어질수록 차이가 더 벌어짐:

품질은 그대로임 (여전히 bf16 KV). 컨텍스트 꽉 채워서 코딩 에이전트 돌리는 입장에서는 진짜 천지 차이였다.

u/AustinM731 글이랑 비교했을 때 우리 결과

확인됨 / 동일함:

• gfx1201에서 긴 컨텍스트 해결하는 건 AITER Unified Attention이 정답임. CDNA 게이트 풀어서 RDNA4도 쓰게 만드는 게 핵심.
• MTP=3이 스위트 스팟임 (우리 기준 draft 수락률 ~84%, 단일 스트림 속도 공짜로 얻는 셈).
• 그 빠른 어텐션 경로는 bf16/fp16 KV 전용임 — FP8 KV랑은 같이 못 씀.
• 아이들 상태 100W 문제는 커널 7.0에서 해결됨.

다른 점 / 우리가 추가할 내용:

• vLLM 버전 올리면 패치할 게 줄어듦. 예전엔 0.19.1/0.20.2 쓰느라 이미지 새로 빌드하고 난리였는데, 0.22.1부터는 unified-attn 백엔드가 기본 탑재됨. 그냥 파이썬 코드 한 줄 풀고 --attention-backend 플래그만 넣어주면 끝임. 전체 빌드 다시 할 필요 없음.

• 하이브리드 모델에서 TP=2 돌리려면 GDN-KKT 픽스 필수. vLLM 0.21 이상 버전은 gfx1201에서 Gated-DeltaNet의 chunk_scaled_dot_kkt Triton 커널을 잘못 컴파일함(Hopper WGMMA 레이아웃 변경 건인 #42076 때문). 이거 때문에 TP 2 이상으로 올리면 시작하자마자 엉뚱한 shm_broadcast 타임아웃 뜨면서 뻗어버림. CUDA 아닌 환경에서 해당 오퍼랜드 레이아웃만 한 줄 되돌리면 해결됨. Qwen3.6/Qwen3-Next 하이브리드 모델을 TP2로 돌릴 거면 이거 무조건 필요함.

• FP8 KV는 파고들어 봤는데 gfx1201에선 그냥 답 없음. 거르셈. FP8 KV로 262K 컨텍스트 찍겠다는 꿈은 버리는 게 나음. vLLM 기본 fp8 디코드 커널이 요소마다 fp32로 디퀀타이즈를 때려서 속도가 3배는 느려짐. 커널 패치 짜서(스칼라 스케일 합치고 bf16으로 캐스팅) 34에서 41.5 tok/s까지 올리긴 했는데, RDNA4에서 돌아가는 네이티브 fp8 WMMA나 int32 패킹 로드까지 다 써봐도 bf16을 못 이김. 어차피 AITER unified는 bf16 KV가 강제됨. Qwen3.6은 KV 용량도 쥐꼬리만 하니까 그냥 bf16 쓰셈.

• HIP "커스텀 페이지드 어텐션" 커널은 이 모델에선 못 씀. 하이브리드 GDN 모델은 하드코딩으로 막혀 있음(stride-padded KV 레이아웃이라 has_native_kv_cache_layout이 false로 뜸). 그래서 bf16 써도 결국 Triton으로 돌아감. Qwen3.6에서 이거 뚫으려고 시간 낭비하지 마셈.

• 컨텍스트 여유: bf16 KV 쓰면 풀 용량이 768K 토큰 정도 나옴. 모델 네이티브인 262K로 돌려도 동시 접속 2.9배는 거뜬함. 최대 컨텍스트 찍겠다고 굳이 FP8 KV 쓸 이유가 없음.

• GPU 2개 vs 4개: 우리 쪽 싱글 스트림 디코드는 118K에서 30 tok/s 정도 나옴(4개 꽂은 쪽이 당연히 더 빠르긴 함). 롱 컨텍스트 디코드는 결국 연산이랑 대역폭을 얼마나 쏟아붓느냐 싸움임.

gfx1201 + Qwen3.6 + vLLM 0.22.1 요약 설정

• 패치 1: CUDA 아닌 환경에서 #42076 오퍼랜드 레이아웃 롤백 (GDN-KKT) → TP2 정상 작동
• 패치 2: _aiter_ops.py에서 gfx1x에 ROCM_AITER_UNIFIED_ATTN 허용
• 플래그: --attention-backend ROCM_AITER_UNIFIED_ATTN, AITER 켜고 MHA/paged/MoE/linear 끄기, MTP n=3, bf16 KV, TunableOp, chunked prefill 적용
• FP8 KV는 쳐다도 보지 마셈.

패치 파일이나 compose 파일 필요한 사람 있으면 공유함. u/AustinM731 다시 한번 고맙다. unified-attention 팁 덕분에 해결했다.