새로운 모델 "Ernie 5.5 Flash Preview", 낮은 파라미터 수(280B, 활성 14B)로 강력한 성능 기록

벤치마크에만 과적합된 게 아니라 실제 코딩 성능이 따라준다면 진짜 인상적이겠네.

파라미터 수는 절반인데 메모리 크기는 더 크네:

DS Flash는 552B 파라미터에 MXFP4 네이티브라 VRAM 약 280GB 필요 (SSD에 n-gram 추가)

Ernie Flash는 280B 파라미터에 BF16 네이티브라 VRAM 약 560GB 필요

DS 컨텍스트 크기는 고작 933Mo/1Mtok 수준임. Ernie는 아예 모르겠고.

이 리더보드 마음에 드네. Nanbeige, Flint, Ornith까지 포함되어 있네. Ripple은 없지만.

맞아, 모델마다 공개된 벤치마크가 겹치는 부분이 거의 없어서 비교 방법론에 완전히 동의하는 건 아니지만, 오픈 웨이트 목록을 꼼꼼하게 정리한 건 높게 평가함.

커스텀 추론 엔진은 보통 핫한 전문가(expert)를 캐싱해서 expert choice의 시간적 지역성을 활용하는데, 그래서 그렇게 빠른 거임.
점점 더 희소해질수록 이런 방식으로 얻는 속도 향상이 줄어들 것 같아서 좀 속상하네.

280b-A14b(활성 5%)는 다른 최신 오픈 웨이트 모델들과 비슷한 수준인데, 간단한 수학도 못 하는 거 아님?

Mimo V2.6-Flash는 309b-A15b(4.8%), GLMv5.3-Flash는 302b-18b(5.6%), Kimi-k3-2800b-A104b(3.7%)라고,

그래서 fnq보다 나은 거야 아니야? 굳이 커스텀 추론 엔진까지 만들어서 돌려볼 가치가 있을까?

아직 가중치 공개도 안 되지 않았나? 11월 25일에 공개되는 걸로 알고 있었는데. 내가 틀렸으면 알려줘.

리더보드 링크 좀 줄 수 있어?