RecursiveSI/flint (40B A2.5B) · Hugging Face
40B 파라미터에 2.5B 활성 파라미터를 가진 MoE 모델 'Flint'가 공개되어 로컬 환경에서의 빠른 추론 성능으로 주목받고 있습니다.
huggingface.co
원문 사이트로 이동
대체로 모델의 빠른 속도와 효율적인 MoE 구조에 대해 긍정적인 반응을 보이고 있으며, 벤치마크 공개 방식에 대해서도 호평이 이어지고 있습니다.
벤치마크
풀 정밀도랑 NVFP4 양자화 버전 둘 다 벤치마크 점수를 제공해준 것만으로도 존경스러움!
게다가 크기 대비 점수도 훌륭하고.
NVFP4가 BF16 모델이랑 성능 차이가 거의 안 나는 게 일반적인 거야?
다들 원하던 3.8 35B-A3B 모델 같네.
ㄹㅇ!! 점수 진짜 잘 나왔는데 35B 속도라고? 대박! 미국 모델들도 점점 강해지는 거 너무 좋다.
Qwen3.8-27B가 없었더라면 이번 모델 출시는 진짜 미친 수준이었을 듯.
이 모델은 그들이 발표한 벤치마크에서 Qwen3.8-27B와 꽤 잘 비교되는데, 토큰당 활성 파라미터는 10분의 1도 안 씀... 한번 써보면 재밌을 것 같음.
내가 Qwen이나 구글, Mistral에서 나오길 기다리던 딱 그 MoE 사이즈임.
오늘 아침 GTC 베를린에서 엔비디아가 발표하기도 했음.
https://blogs.nvidia.com/blog/local-ai-gtc-rtx-dgx-spark-station-sync/
Recursive Flint 소개 — RTX Spark에 최적화된 새로운 로컬 코딩 모델
오늘, 프런티어 AI 연구소 Recursive Superintelligence는 빠르고 정확한 코딩을 위해 구축된 로컬 LLM인 Recursive Flint를 출시했습니다. 25억 개의 활성 파라미터를 가진 400억 파라미터 규모의 MoE 모델인 Recursive Flint는 64GB RTX Spark에서 초당 220토큰 이상의 빠른 추론 속도를 제공하며, SWE-Bench Pro v2, Terminal-Bench 2.1, SWE-bench verified와 같은 에이전트 코딩 벤치마크에서 동급 최고의 점수를 기록했습니다.
Recursive Flint는 대규모 자동화 AI 연구 시스템인 Recursive의 Eureka Machine을 사용하여 구축되었습니다. 이 시스템은 아이디어 제안, 구현, 실험 실행을 통한 검증, 결과 분석을 통한 다음 단계 결정 등 전체 연구 루프를 자동화하며, 모델 가중치를 변경하지 않고도 RTX Spark에서 Flint의 생성 속도를 55% 향상시키는 특수 커널을 생성했습니다.
개발자들은 허깅페이스에서 아파치 2.0 라이선스로 오픈 가중치를 다운로드하여 RTX Spark 및 DGX Spark 시스템, 그리고 GeForce RTX 및 RTX PRO GPU에서 모델을 실행할 수 있습니다. 또한 NeMo Automodel을 사용한 지도 미세 조정 및 LoRa, NeMo RL을 사용한 그룹 상대 정책 최적화(GRPO)를 통해 모델을 추가 학습할 수도 있습니다.
좋은 모델 같긴 한데, 이름에 "super intelligence"를 쓴 건 좀 별로네.
벤치마크가 대략적인 개요를 파악하는 데는 좋지만, 실제로는... 별 의미가 없다는 걸 경험했어. 내 테스트 케이스로 직접 모델을 다 돌려봐야 해서 내 용도에는 이게 괜찮아. 예를 들어 Qwen3.8-27B는 코딩 말고 다른 많은 부분에서 Gemma4-26B-A4B보다 별로였거든.
이것도 테스트해 볼 생각인데 괜찮았으면 좋겠다. 난 MoE LLM이 보통 더 빨라서 훨씬 좋아해.
이건 Qwen3.8 27B보다 훨씬 빠를 텐데, 단순한 작업에는 아주 좋을 듯.
3.8-27B보다 훨씬 빠를 거라는 점을 고려하면 여전히 장점이 있음. 그리고 새로운(?) 플레이어치고는 성능도 훌륭함.
27B를 플래너로 쓰고, 이걸 실행기나 서브 에이전트로 쓰면 128GB 환경에서 가능할지도?
이상하네. 기사에서 tok/s 부분 삭제됐나? 목록에 안 보이는데.
HBM 공급 부족으로 인한 GPU 및 메모리 가격 급등 전망에 로컬 LLM 사용자들의 우려가 커지고 있습니다.
HBM 공급 부족으로 인한 GPU 및 메모리 가격 급등 전망에 로컬 LLM 사용자들의 우려가 커지고 있습니다.
Codex의 API 캐시가 12시간으로 늘어나면서 사용량 절감 효과가 기대됨에 따라 사용자들의 반응이 뜨겁습니다.
Codex의 API 캐시가 12시간으로 늘어나면서 사용량 절감 효과가 기대됨에 따라 사용자들의 반응이 뜨겁습니다.
Gemini의 엉뚱하고 유머러스한 답변에 대한 사용자들의 긍정적인 반응과 공감대가 형성된 포스트입니다.
Gemini의 엉뚱하고 유머러스한 답변에 대한 사용자들의 긍정적인 반응과 공감대가 형성된 포스트입니다.