[연구] RTX 5090에서 초당 2,788 토큰 달성: 확산 LLM을 위한 ORL 공개

r/LocalLLaMA 형들 안녕!

생성 품질은 그대로 유지하면서 디퓨전 언어 모델(dLLM) 속도를 엄청나게 끌어올린 새로운 연구 결과, **ORL (On-Policy Residual Learning)**을 공유하려고 왔어.

ORL이랑 우리가 직접 만든 추론 엔진 dlmrt를 써서 이런 결과를 뽑아냈지:

• RTX 5090 한 장에서 2,788 tokens/s — LLaDA-2.1-mini + ORL, NVFP4 기준

• 8× B200에서 7,708 tokens/s — DiffusionGemma 26B MoE + ORL, NVFP4 기준

• QwenDLM-4B 모델에서 엔드투엔드 처리량 최대 6.9배 향상, 품질은 비슷하거나 더 좋음

• DFlash 추론 대비 1.74배 빠른 속도 (H100 단일 요청 비교, 정확도 동일 기준)

위 수치들은 전부 단일 요청 디코딩(배치 사이즈 1) 기준이야. 여러 요청을 동시에 처리할 때 나오는 합산 처리량이 아니라는 점 참고해. GPU 수치들은 특정 벤치마크에서 뽑은 피크치고, 아무 프롬프트나 넣었을 때 나오는 평균값은 아니야.

모델이랑 학습 코드, 평가 파이프라인, 추론 엔진까지 전부 오픈소스로 풀었어.

ORL이 대체 뭔데?

토큰을 하나씩 찍어내는 자기회귀(autoregressive) LLM이랑 다르게, 디퓨전 LLM은 여러 토큰을 동시에 다듬어서 완성할 수 있거든. 근데 이걸 적은 단계의 순방향 연산(forward pass)으로 수렴하게 만드는 게 진짜 어렵단 말이지.

우리 방식은 크게 두 가지 핵심 요소가 있어:

1. On-policy residual learning

매 디노이징 단계마다 처음부터 다시 예측하는 게 아니라, 이전 예측값을 잔차(residual) 컨텍스트로 가져와서 점점 더 정교하게 다듬는 방식이야.

문제는 이 잔차들이 모델 스스로 생성한 거라 학습 중에 분포가 계속 바뀐다는 거지. 낡은 오프라인 잔차로 학습하면 추론할 때랑 괴리가 생기거든.

그래서 ORL은 현재 모델이 실시간으로 생성한 최신 궤적을 바로 학습에 써먹어. 추론할 때 마주치는 잔차 상태를 그대로 재현해서 학습하는 거지.

2. 불확실성을 더 빨리 줄이는 법 배우기

그냥 최종 결과물만 감독한다고 모델이 빨리 수렴하는 건 아니더라고.

우리는 *인접 엔트로피 수축(Adjacent Entropy Contraction)*이라는 걸 도입했어. 디노이징 단계마다 이전 단계보다 불확실성을 더 줄이도록 유도하는 거야. 이미 확신이 높은 예측값에 불필요한 손실을 주지 않도록 게이트도 걸어놨고.

결과적으로 모델이 순방향 연산 한 번에 더 많은 토큰을 확정 짓는 법을 배우게 됐고, 정확도도 유지하거나 오히려 더 좋아졌어.

벤치마크 결과 좀 볼래?

세 가지 모델군으로 ORL을 테스트해 봤어:

• QwenDLM-4B: Qwen3-4B를 디퓨전 모델로 변환한 거야. ORL을 쓰니까 순방향 연산당 토큰 수가 최대 6.2배 늘었고, dlmrt랑 같이 쓰면 엔드투엔드 처리량이 약 6.9배 빨라져. HumanEval pass@1 점수도 82.9%에서 89.6%로 올랐어.

• LLaDA-2.1-mini: ORL은 자체 생성 학습 토큰 4.2M개랑 H100 GPU 36시간 정도의 사후 학습만 있으면 돼. 품질은 비슷한데 처리량은 최대 3배까지 나와.

• DiffusionGemma 26B MoE: 이미 병렬화가 잘 된 디퓨전 모델인데, ORL을 얹으니까 순방향 연산당 토큰 수가 최대 1.2배 더 늘었어.

자기회귀 디코딩이랑 직접 비교해 보면, H100 한 장에서 우리 QwenDLM-4B + ORL은 1,298 tokens/s를 찍어. 같은 정확도 기준으로 DFlash는 746 tokens/s, EAGLE3는 405 tokens/s였거든. 이건 엔드투엔드 시스템 비교야. ORL은 dlmrt를 썼고, 추론 가속기들은 vLLM을 썼어.

전용 추론 엔진 dlmrt도 만들었어

우리가 만든 dlmrt는 저지연, 단일 요청 디퓨전 디코딩에 최적화된 엔진이야.

CPU에서 매번 디노이징 단계를 실행하고 동기화하는 대신, dlmrt는 전체 디노이징 루프를 CUDA 그래프로 묶어서 GPU에서 바로 돌려버려.

일반 소비자용 RTX 5090을 포함해서, Blackwell GPU의 NVFP4 추론도 지원해.

똑같은 모델이랑 디코딩 설정으로 돌려봤을 때, H100 한 장 기준으로 dlmrt가 SGLang/vLLM보다 1.2~1.6배 더 빨라.

학습 쪽도 효율적인 잔차 상태 캡처, 특화된 어텐션 커널, 연산 균형 패킹을 적용해서 시스템을 짰더니 학습 속도가 최대 5.2배까지 빨라졌어.

전부 오픈소스야

• 논문: https://arxiv.org/abs/2610.20687

• 프로젝트 페이지 및 인터랙티브 데모: https://introspective-diffusion.github.io/orl-dlm/

• 학습 코드 및 평가: https://github.com/Introspective-Diffusion/ORL

• 추론 엔진 (dlmrt): https://github.com/Introspective-Diffusion/DLMRT

• 모델 체크포인트: https://huggingface.co/yifanyu

RTX 5090 쓰고 있으면 dlmrt로 LLaDA-2.1-mini ORL NVFP4 체크포인트 한번 돌려봐라.

커뮤니티 피드백 환영한다. 특히 결과 재현해 보거나, 다양한 워크로드 테스트하거나, 추론 엔진 개발에 기여할 사람들은 언제든 환영임.

로컬 추론용 디퓨전 LLM에 대해 어떻게 생각하는지 궁금하다. 단일 요청 지연 시간(latency) 최적화가 제일 중요하냐, 아니면 다른 병목 현상을 먼저 해결해야 한다고 보냐?

수치는 괜찮네.. 4B 모델이니까.. Gemma diffusion이랑 같은 기술이고.. 괴물 같은 성능이긴 함.. 근데 우리 연구실 테스트에서는 Gemma diffusion이 채팅 말고는 딱히 쓸모가 없었음.. 그래도 기술 자체는 인상적임..