r/LocalLLaMA•약 4시간 전•20•7
Ornith-1.5 DFlash 출시
Ornith-1.5 DFlash
핵심 요약
Ornith-1.5 모델 시리즈에 추론 속도 향상을 위한 DFlash 드래프트 모델이 결합되어 공개되었습니다.
- 모델 구성 — Ornith-1.5 9B, 397B, 35B-A3B 모델에 DFlash 드래프트 모델을 결합함
- 추론 최적화 — Speculative decoding을 통해 모델의 생성 속도를 높이도록 설계됨
- 사용자 반응 — AMD GPU 환경에서의 호환성 및 llama.cpp 지원 여부에 관심 집중
- 성능 검증 — 397B 모델의 실제 추론 속도 향상 폭과 수용률(acceptance rate)에 대한 궁금증 제기
Ornith-1.5-9B-DFlash는 Ornith-1.5-9B 모델이랑 추론 가속(speculative decoding)을 위한 DFlash 드래프트 모델을 짝지어 놓은 거야.
https://huggingface.co/ornith-ai/Ornith-1.5-9B-DFlash
Ornith-1.5-397B-DFlash는 Ornith-1.5-397B 모델이랑 추론 가속을 위한 DFlash 드래프트 모델을 짝지어 놓은 거야.
https://huggingface.co/ornith-ai/Ornith-1.5-397B-DFlash
Ornith-1.5-35B-A3B-DFlash는 Ornith-1.5-35B-A3B 모델이랑 추론 가속을 위한 DFlash 드래프트 모델을 짝지어 놓은 거야.
