Ricursive Intelligence Ripple-65B-Preview: 새로운 덴스 모델 출시!
Ricursive Intelligence Ripple-65B-Preview: New Dense Model!
핵심 요약
Ricursive Intelligence가 에이전트 코딩에 특화된 65B 덴스 모델 Ripple-65B-Preview를 공개했습니다.
- 모델 사양 — 80 레이어, 5120 차원의 '얇고 깊은' 구조를 채택함
- 학습 방식 — 미드트레이닝이나 합성 데이터 없이 프리트레인 체크포인트만 사용함
- 성능 비교 — Qwen3.8-27B 등 주요 모델과 대등한 벤치마크 결과를 보임
- 기술적 특징 — FFN 활성화 클리핑, 게이트 어텐션, 글로벌 NoPE 등을 적용함
huggingface.co
원문 사이트로 이동
Ricursive Intelligence(Flint 만든 Recursive랑 헷갈리지 마라)에서 새로 만든 65B 덴스 모델 프리뷰를 공개했는데, 성능이 진짜 미쳤다. 사이즈 상관없이 미국 오픈 웨이트 모델 중에서는 거의 최상위권 수준임. 벤치마크 보니까 Muse Spark Open(816B)이나 Reflection의 Beam(501B)이랑 맞다이 까는 수준이더라. 얘네 말로는 "미드 트레이닝, 긴 컨텍스트, SFT, 긴 컨텍스트 SFT, 혼합 도메인 RL을 포함한 표준 포스트 트레이닝 레시피를 사용했다. 이번 프리뷰는 에이전트 코딩에 집중해서 비교적 가볍게 포스트 트레이닝을 거쳤다"고 함.
-
4:1 SWA:global attention
-
"얇고 깊은" 모델 종횡비 (80 레이어 x 5120 차원)
-
FFN 활성화 클리핑, 게이트 어텐션, 글로벌 NoPE, 그리고 밸류 레지듀얼 적용
-
미드 트레이닝이나 합성 QA 데이터가 전혀 들어가지 않은 pretrain-only 체크포인트
여기 애들 다들 70B급 덴스 모델 새로 나오길 오랫동안 목 빠지게 기다렸잖아. 벤치마크 주작만 아니면 이거 우리 무기고에 추가할 아주 쏠쏠한 툴이 될 듯. 에이전트 코딩용으로 가볍게만 튜닝한 게 이 정도면, 나중에 포텐 다 터졌을 땐 진짜 괴물 같은 모델이 나올지도 모르겠다. 설계 방식도 꽤 흥미로운 구석이 있고.
AtomicChat GGUFs (imatrix 곧 나옴) -- Q8_0: 68.8 GB, Q4_K_M: 38.8 GB.
Qwen 모델들이랑 공유하는 벤치마크 몇 개 가져와 봄 (더 자세한 건 모델 카드 확인):
| Benchmark | Ripple-65B-Preview | Qwen3.8-27B | Qwen3.8-Flash-Next |
|---|---|---|---|
| Terminal-Bench 2.1 | 80.5 | 73.0 | — |
| SWE-bench Pro | 61.4 | 61.7 | 62.5 |
| DeepSWE 1.1 | 44.3 | 42.2 | 58.7 |
| IFBench | 79.2 | 79.5 | 81.3 |
| GPQA Diamond | 85.2 | 89.2 | 91.7 |
Ricursive llama.cpp 포크 빌드하는 법:
