gemma-4-31B-it-DFlash has been released
gemma-4-31B-it-DFlash 모델이 공개되었으나, llama.cpp 병합 전이라 테스트는 대기 중임.
https://huggingface.co/z-lab/gemma-4-31B-it-DFlash
이 PR이 병합될 때까지 기다려야 테스트해 볼 수 있을 듯.
DFlash 모델의 등장과 speculative decoding 적용 가능성에 대해 논의 중이며, llama.cpp의 머지 지연 문제와 개발자 보상 체계에 대한 궁금증이 이어지고 있음.
아쉽게도 PR이 아직 초안 상태네.
ggerganov이 speculative 코드베이스 리팩토링해서 통합하려던 거 기억남. 그래서 더 큰 아키텍처 나올 때까지 DFlash 머지는 미뤄질 듯.
딴소리지만 ggerganov랑 다른 llama.cpp 개발자들 돈 받고 하는 거임, 아니면 그냥 자원봉사임?
HuggingFace가 인수했잖아.
GGML이 인수된 거지. 근데 대부분 개발자는 자원봉사자임.
GG 회사 HF가 인수했으니 돈은 받겠지. 근데 기여자 대부분은 자원봉사자임.
난 --spec-type ngram-mod 씀.
그 리팩토링 큰 부분들은 이미 머지됐음.
DFlash 머지 미뤄지는 거 ROCm 속도 개선 때랑 똑같네. 그것도 ROCm 리라이트 기다리느라 계속 밀렸었음.
DFlash가 정확히 뭐임? 일반 모델이랑 뭐가 다른 거?
큰 Gemma 모델을 위한 아주 작은 초안 모델임. 얘가 토큰을 미리 추측하고, 나중에 큰 모델이 그걸 수락할지 말지 결정하는 방식임. 동시에 여러 인스턴스 돌리는 거랑 비슷함.
그럼 모델 2개를 동시에 돌려야 하는 거임?
그럼 이거 speculative decoding용 모델임? gguf 버전 있음?
이거 qwen3.6에도 적용 가능함?
PR 기다릴 필요 없이 그냥 돌리면 됨. 난 llama.cpp PR 버전 맨날 돌림.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.