r/LocalLLaMA•3개월 전•88•18
Orthrus (디퓨전 헤드) 기반 Qwen 3.5/3.6 및 Gemma 4 모델 곧 출시 예정
Orthrus (diffusion head) trained Qwen 3.5/3.6 and Gemma 4 models are dropping soon
핵심 요약
Orthrus 아키텍처를 적용한 최신 Qwen 및 Gemma 모델 출시와 학습 코드 공개 소식입니다.
- Orthrus 모델 출시 — Qwen 3.5/3.6 및 Gemma 4 기반의 디퓨전 헤드 모델이 곧 공개됨.
- 오픈소스 공개 — 모델 체크포인트와 함께 전체 학습 및 평가 코드를 오픈소스로 제공함.
- 모델 크기 증가 — 디퓨전 헤드 추가로 인해 원본 모델보다 크기가 약 15% 정도 커짐.
- llama.cpp 미지원 — 현재 llama.cpp 지원을 위해 작업 중인 인원은 없는 것으로 파악됨.
github.com
원문 사이트로 이동
안녕하세요 여러분, 테스트를 마무리하고 릴리스 파이프라인을 준비 중입니다. 곧 Qwen3.5, Qwen3.6, Gemma4 지원 모델을 출시할 예정입니다. 모델 체크포인트와 함께, 전체 엔드투엔드 학습 및 평가 코드도 오픈소스로 공개할 것입니다. 곧 저장소에 업데이트를 올릴 예정이니 채널 고정해 주세요!
https://huggingface.co/chiennv/Orthrus-Qwen3-8B
아직 llama.cpp 지원을 위해 작업 중인 사람은 없는 것 같습니다.
