[벤치마크] RTX 5090에서 DFlash 추측 디코딩 + KV 캐시 압축 — 3.26배 속도 향상

2. 퍼플렉서티(Perplexity): KV 압축 품질
   WikiText-2에서 측정 (낮을수록 좋음). K_Q8_VQ5_1 베이스라인: PPL = 1.8046 ± 0.00295

q4_0/turbo4 전략은 K_Q8_VQ5_1 베이스라인의 1 표준 편차 이내입니다.

재현:

python -m tests.benchmark_kv_cache --model Qwen3.6-27B-UD-Q5_K_XL-kv_q4_0_turbo4-dflash-256k

3. 드래프터 모델: Anbeeld의 주장 확인
   제 결과는 Anbeeld가 언급한 대로 작은 드래프터 모델로 약 3배의 속도 향상을 보여줍니다:

• 드래프터: Qwen3.6-27B-DFlash-Q5_K_M (동일 아키텍처, 더 작은 양자화)

• 수락률: KV 전략에 따라 30-51%

• 속도 향상 범위: 2.58배 ~ 3.26배

DFlash는 교차 어텐션 메커니즘(토큰 단위 추측이 아님)을 사용하므로 더 작은 드래프터라도 유용한 토큰 시퀀스를 제안할 수 있어 효율적입니다.

4. 압축 전략 심층 분석
   전략 추천

5. 코드 품질: 압축이 생성을 망치는가?
   테트리스 게임(CLI 파이썬 + 단일 파일 HTML)을 생성하여 벤치마크했으며, 각 3회 반복하여 기능적 완성도를 0-3점으로 평가했습니다:

q4_0/turbo4를 사용한 KV 압축은 베이스라인보다 코드 품질을 실제로 향상시켰습니다(HTML 기준 3.0/3.0 vs 2.33/3.0). 모든 반복 생성 코드는 요청 시 제공 가능합니다.

재현 명령어

# 퍼플렉서티 (WikiText-2)
python -m tests.benchmark_kv_cache --model

# 처리량 (코딩 작업)
python -m tests.benchmark_dflash --model

# 코드 품질 (테트리스 생성)
python -m tests.benchmark_tetris --model

모델 키는 config.yaml에 정의되어 있습니다. 실제 스크립트, 설정, 차트 또는 전체 종합 보고서에 관심이 있으시면 DM이나 댓글로 알려주세요. 모두 보내드리겠습니다.

재현성
완전한 재현을 위해 필요한 모든 리소스(벤치마크 스크립트, 설정, 원본 데이터, 생성된 코드, 차트)를 포함한 공개 GitHub 저장소를 작업 중입니다. 현재 정리 및 경로 익명화 중입니다. 그동안 이 게시물에서 언급된 내용은 요청하시면 모두 제공해 드립니다.

링크

• BeeLlama.cpp: https://github.com/Anbeeld/beellama.cpp/

• DFlash 논문: https://arxiv.org/abs/2602.06036

@수정: 참조 수정; FP16을 K_Q8_VQ5_1로 변경 - 제가 베이스라인으로 사용하는 KV 캐시 압축; beellama 깃허브; Dflash 논문 참조

둘 다 온도가 0이 아니고 시드도 같지 않아요. 구현 차이는 말할 것도 없고요. 그래서 완전히 같은 작업을 해결하는 건 아닙니다. 토큰 생성 측면에서는 MTP에서 더 높은 숫자가 나오는 걸 봤어요. 둘 다 우연히 2분 29초에 끝났네요.

PP 속도도 차이가 좀...