AMA: SOTA 결정 모델을 학습시킨 방법, OpenRouter 3위 및 ArtificialAnalysis 상위권 달성: 아키텍처, 데이터셋, 학습, 평가, 추론까지 전체 플레이북
AMA: How we trained a SOTA Decision model, got top 3 on OpenRouter & top on 5 ArtificalAnalysis: full playbook - arch, datasets, training, evals, inference
핵심 요약
Nace AI가 오픈 소스 결정 모델 'Drex' 시리즈의 아키텍처와 학습 방법론을 공개하며 기술 AMA를 진행했습니다.
- Drex 모델 시리즈 — 8B부터 27B까지 다양한 아키텍처를 활용한 4종의 결정 모델 공개
- 학습 방법론 — SFT, RLAF 및 일관성 학습을 통해 결정 정확도와 보정 오류 개선
- 성능 지표 — Decision Index 0.4.1에서 기존 Jev 모델을 상회하는 성능 기록
- 로컬 실행 지원 — GGUF 및 llama.cpp 지원으로 로컬 환경에서 즉시 사용 가능
안녕 라마들아! 나는 Nace AI에서 기술 스태프로 일하고 있는 Alt라고 해. 여기서 간단하게 AMA(무엇이든 물어보세요)를 진행하려고 하니까, 궁금한 거 있으면 다 물어봐. 답변해 줄게.
우리가 만든 4종의 오픈 의사결정 모델 제품군인 Drex를 어떻게 설계하고, 학습시키고, 평가했는지에 대한 전체 기술 보고서를 방금 공개했어. 의사결정 모델은 상태(문서, 기록, 에이전트 컨텍스트, 필요시 이미지 포함)와 옵션이 달린 질문을 입력받아서, 자기회귀적 디코딩이나 출력 파싱 없이 한 번의 패스(single pass)로 옵션들에 대한 확률 분포를 바로 뱉어내는 모델이야.
OpenRouter Top 3
Artificial Analysis Top 5
1. 모델
- Drex DLM (8B): 컨텍스트에 대해 양방향 어텐션을 사용하는 diffusion LM 백본 - Drex v1.5 (9B): Gated DeltaNet 하이브리드 백본 - Drex v2.0 (35B, 3B active): 희소(sparse) MoE 백본 - Drex Max (27B): 비전 입력을 위한 이미지 인코더가 포함된 dense 모델
