r/LocalLLaMA•약 5시간 전•96•21
Flint 40B-A2.5B vs Ornith 1.5 35B-A3B vs Nemotron 3.5 Lightning 비교
Flint 40B-A2.5B vs Ornith 1.5 35B-A3B vs Nemotron 3.5 Lightning
핵심 요약
세 가지 소형 MoE 모델을 에이전트 환경에서 테스트한 결과, Flint가 가장 효율적인 성능을 보였습니다.
- 모델 효율성 비교 — Flint가 가장 짧은 작업 시간과 적은 수정 횟수, 낮은 비용을 기록함
- 에이전트 성능 — 단순히 토큰 속도가 빠른 것보다 수정 성공률이 전체 작업 시간에 더 큰 영향을 미침
- 비용 구조 — 로컬 모델의 선택에 따라 플래너(Opus)의 호출 비용이 크게 달라짐
- 테스트 한계 — 모델별 1회 실행으로 변동성 측정은 부족하며 출력 품질은 별도 평가가 필요함
최근 몇 주 사이에 작은 MoE 모델 3개가 연달아 나와서, 싹 다 같은 환경에 넣고 돌려봤다. 퓨전 모드에서 Opus 5.5가 계획 짜고 검토하면, 로컬 모델 3개가 병렬로 코드를 짜는 방식임. 실행할 때마다 워커 모델만 바꿨고, 프롬프트, 플래너, 양자화, 설정은 다 똑같이 맞췄음.
과제는 프롬프트 하나로 끝내는 거였는데, Three.js로 20초짜리 할로윈 연쇄 반응 만들기(부싯돌이 강철을 때림 → 불꽃이 도화선에 붙음 → 도화선이 로켓을 발사함 → 로켓이 구슬을 쳐서 나선형으로 떨어뜨림 → 구슬이 성냥을 건드려 잭오랜턴에 불이 붙음)였고, 팔로우 카메라에 끊김 없는 루프까지 넣어야 함. 파일 6~9개에 걸쳐서 대략 1,000~1,700줄 정도 되는 분량임.
세팅
-
에이전트: Atomic Agent v0.6.10, 원 턴, 사람 개입 없음
-
플래너: OpenRouter를 통한 Opus 5.5. 워커: 로컬 모델 3개 병렬, 네이티브 챗 템플릿 사용
-
모델: 전부 Q8_0 GGUF, llama.cpp b11803,
--parallel 3, 슬롯당 64K 컨텍스트, 벤더 샘플링 -
하드웨어: 모델당 RTX PRO 6000 Blackwell 96 GB 1장
시간 및 속도
| Metric | Flint 40B-A2.5B | Ornith 1.5 35B-A3B | Nemotron 3.5 Lightning 30B-A3B |
|---|---|---|---|
| Wall time | 7:36 | 9:04 | 30:32 |
