Agens Volundr 32B v1: 프리뷰에서 지적받은 문제들 해결 완료. 0/50 루프, 세션 이어가기, 16GB 예산으로 262K 컨텍스트를 돌리는 MIT 엔진
Agens Volundr 32B v1: we fixed what you flagged in the Preview. 0/50 loops, session continuation, and an MIT engine that runs it with 262K context (measured to 239K) within a 16 GB budget
핵심 요약
커뮤니티 피드백을 반영해 루프 현상과 추론 속도를 개선한 Agens Volundr 32B v1 모델과 전용 엔진을 공개했습니다.
- 성능 개선 — 루프 현상 제거 및 추론 단계 최적화로 SWE-bench 결과 향상
- Agens 엔진 — 16GB 메모리 예산 내에서 262K 컨텍스트를 지원하는 MIT 라이선스 엔진
- 세션 이어가기 — 프리필링 재수행 없이 상태를 유지하여 후속 턴 속도 2.9배 향상
- 하이브리드 아키텍처 — 72개 레이어 중 54개에 고정 크기 상태를 적용하여 효율성 극대화
.buffering-track-fill { stroke-dasharray: 100; stroke-dashoffset: 50; }
안녕 r/LocalLLaMA 형들. 나 Blockway 팀원이야 (참고로 이거 우리 모델임). 2주 전에 여기 Volundr 32B 프리뷰 올렸을 때 형들이 문제점들 아주 뼈 때리게 지적해 줬잖아. 이번 v1은 형들이 지적한 부분들 고치는 데 거의 모든 힘을 쏟았어.
프리뷰에서 v1으로 넘어오면서 고친 것들
-
"반복 루프 돔." SWE-bench 작업에서 반복 루프 걸리던 거: 36/50 → 0/50으로 해결.
-
"생각만 하다가 세월 다 감." 추론 단계가 32K에서 잘리곤 했는데, 이제 중간값은 120 토큰이고 제일 긴 건 12K까지 가.
-
"Prefix 캐싱 안 돼서 턴마다 전체 히스토리 다시 읽음."
-
SGLang 빌드: v1에 세션 이어가기 기능 넣어서, 후속 턴에서는 모델 상태를 재사용해. 다시 프리필(prefill) 안 해도 됨. 우리 에이전트 리플레이 기준으로 후속 턴 속도가 2.9배 빨라졌어(드래프터 사용 시 중간값 1.6초). 출력값은 그리디 방식이랑 동일해(바이트 단위로 완전히 똑같진 않음. 캐시된 프리픽스가 조각조각 프리필되기 때문).
-
GGUF: llama-server 기본
--ctx-checkpoints프롬프트 캐시 사용하고, 서버 코드 따로 건드린 거 없어. 우리 포크 버전은 모델 아키텍처만 추가했어.
-
-
에이전트 결과: SWE-bench Verified (50개 작업 서브셋) 22 → 27/50, τ²-bench 89 → 92/120, SWE 작업 중간 소요 시간 124 → 82분.
"일반 소비자용 GPU에서 돌리게 해줘" → AGENS ENGINE (MIT)
Agens Engine을 MIT 라이선스로 오픈소스화했어. 이 하이브리드 아키텍처를 위해 만든 추론 엔진인데, 72개 레이어 중 54개가 KV 캐시 대신 고정 크기 상태를 유지하도록 설계됐거든.
-
같은 GPU, 같은 v1 INT4 가중치와 드래프터, 단일 스트림 기준: Agens Engine이 우리 SGLang 빌드보다 1.4~1.6배 빠르게 디코딩해(생각하는 코드 작업에선 최대 1.8배). 채팅 58 → 86, 코드 79 → 113, 8K 컨텍스트 에이전트 91 → 121, JSON 125 → 199 tok/s. 이건 각 측당 1회 실행 결과고, 순정 SGLang이나 vLLM, llama.cpp가 아니라 우리 SGLang 빌드랑 비교한 거야. 단일 스트림 기준임.
-
새로운 빌드: Agens-Volundr-32B-v1-Engine-16GB. 대략 2.85 bits/weight(2/3/4비트 혼합)이고, 16GB 메모리 예산 안에서 262K 컨텍스트(실측 239K까지 확인)를 지원해. 오직 Agens Engine에서만 돌아감. 12GB 빌드도 계획 중이야.
-
솔직한 주의사항:
-
16GB 예산 내 속도, 단일 대화, v1 드래프터 켠 상태:
