RTX 5090과 Qwen3.6으로 초당 3,000 토큰 달성 가능할까? (open-dllm)

가정 및 주의사항

• 미학습 가중치: 이 벤치마크는 무작위로 초기화된 Perceiver/디코더/확산 헤드 가중치를 사용합니다. 학습된 모델은 동일한 처리량을 가지면서 일관된 출력을 생성할 것입니다. 품질 벤치마크(Perplexity, HumanEval)는 학습 완료 후 공개될 예정입니다.
• 루프 내 인코더 없음: 고정된 Qwen3.6 인코더는 생성 중에 사용되지 않으며, 학습 시(잠재 타겟 생성용)에만 필요합니다. 추론 시에는 확산 헤드가 무작위 노이즈를 제거한 다음, Perceiver 디코더가 잠재 변수를 토큰으로 매핑합니다. 벤치마크 전 인코더는 삭제됩니다 (del autoencoder.token_encoder).
• 시퀀스 길이 = 64: 벤치마크는 짧은 시퀀스 길이(64 토큰)를 사용합니다. 시퀀스가 길어지면 처리량은 비례해서 감소합니다. 4단계 처리량 수치는 10단계 측정값에서 선형으로 외삽한 것입니다.
• 배치 크기 = 1: 단일 시퀀스 생성 기준입니다. 35B-A3B(차원 2048, VRAM에 쉽게 들어감)의 경우 처리량은 배치 크기에 거의 선형으로 비례하지만, 27B(차원 5120)는 그렇지 않습니다.
• CPU RAM 요구사항: 추론 시 인코더는 사용되지 않지만, 학습 중에는 시스템 RAM에 적재되어야 합니다(27B는 약 54GB, 35B-A3B는 bf16 기준 약 22GB). Qwen3.6 아키텍처는 CPU에서 실행할 수 없는 Triton 커널(flash-linear-attention)을 사용하므로, 학습 중 인코더 순전파에는 GPU 오프로딩이 필요합니다. 학습에는 멀티 GPU 설정을 권장합니다.
• Qwen3.6은 trust_remote_code=True 필요: 이 모델은 표준 transformers 릴리스에 없는 커스텀 아키텍처 코드(Qwen3_5ForConditionalGeneration)를 사용합니다. transformers 버전이 이를 지원하는지 확인하세요 (>=4.54).
• 35B-A3B는 MoE 모델: 35B 파라미터 중 토큰당 3B만 활성화되므로, 27B 밀집 모델(차원 5120)보다 훨씬 작은 은닉 차원(2048)을 가집니다. 이것이 LDLM 학습 가능 구성 요소가 5배 작고 4배 빠른 이유입니다.
• AR 모델과 직접 비교 불가: 확산 모델은 N개의 확산 단계에 걸쳐 모든 토큰을 병렬로 생성하는 반면, AR은 한 번에 한 토큰씩 생성합니다. 'tok/s' 지표는 짧은 시퀀스에서 확산 모델에 유리하지만, 학습 수렴도에 따라 달라지는 출력 품질을 반영하지는 않습니다.

코드는 여기 있으며, git 이슈가 활성화되어 있습니다.

https://github.com/scrya-com/Open-dLLM

wandb 학습 지표

https://wandb.ai/snoozie/Qwen3.6-35B-A3B-LDLM?nw=nwusersnoozie

혹시 남는 vast.ai 크레딧, Azure 크레딧, Google 크레딧이 있다면 지원 부탁드립니다.