EAGLE3 has landed in llama.cpp
6개월간의 개발 끝에 EAGLE3가 llama.cpp에 병합되어 추론 속도 향상을 기대할 수 있게 되었습니다.
github.com
원문 사이트로 이동
6개월간의 개발 끝에, EAGLE3가 llama.cpp에 병합되었습니다.
EAGLE3는 MTP와 비슷하지만 차이점이 있습니다. 헬퍼 모델이 완전히 독자적으로 추측하는 대신 메인 모델로부터 추가적인 가이드를 받습니다.
사용자들은 EAGLE3의 병합을 환영하며 지원 모델, 벤치마크 성능, 그리고 MoE 모델에서의 효율성에 대해 활발히 정보를 공유하고 있습니다.
MTP랑 비교하면 어때(속도, VRAM 사용량 등)? 그리고 Qwen3.6 27B에서 쓸 수 있어?
Mistral Medium 3.5랑 Mistral Small 4도 EAGLE3 drafter를 가지고 있음.
답변 고마워!
사용하려면 전용 eagle 모델이 필요함
PR에 리스트가 나와 있어(리스트가 완전한지는 모르겠지만).
현재 이 PR은 다음 EAGLE3 모델들만 지원함:
리스트 고마워! Mistral이 없어서 좀 놀랐네. Eagle3 가속 모델이 있는 모델 계열 하면 제일 먼저 떠오르는 게 Mistral이었거든.
Gemma 4가 대부분 사람들에겐 메인 기능일 거라 생각함(Qwen 3는 안 쓸 테니까). 하지만 난 LLaMA 70B 파인튜닝 모델들을 좀 가지고 있어서 유용할 수도 있을 듯. 근데 맞아, Mistral이 빠진 건 확실함. 나중에 바뀔지 궁금하네.
파생 모델들도 작동할까? 어떤 친절한 사람이 Gemma 4의 헤레틱(heretic) 모델들을 올렸던데, 그거랑 EAGLE3를 같이 돌릴 수 있으면 좋을 것 같아.
걔네는 drafter니까 아마 여전히 작동은 할 텐데, 수락률은 더 낮을 듯.
고맙다. 써볼 만한 가치가 있는지 확인하는 방법은 하나뿐인 것 같네.
Qwen3.6+에서 돌아가면 그때 써봐야지.
좋은 소식이네!
메모리 대역폭 제한을 깰 수 있는 다양한 방법이 생기는 건 좋은 일이지.
이글이 착륙했다 ( ͡° ͜ʖ ͡°)
Qwen이 Jev 경쟁 모델을 급히 출시했으나 오픈 웨이트는 공개하지 않아 커뮤니티의 비판과 분석이 이어짐.
Qwen이 Jev 경쟁 모델을 급히 출시했으나 오픈 웨이트는 공개하지 않아 커뮤니티의 비판과 분석이 이어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.