r/LocalLLaMA•3개월 전•171•46논쟁
MiniMax 2.7 @47tg 1200pp
MiniMax2.7 @47tg 1200pp
핵심 요약
고성능 하드웨어에서 MiniMax 2.7 REAP 모델을 활용한 복잡한 에이전트 루프 구성 사례입니다.
- 하드웨어 사양 — 96GB VRAM, 192GB DDR5 RAM, 9900X CPU 기반의 강력한 로컬 환경임.
- 에이전트 루프 — 3개의 시퀀싱 에이전트와 12b 모델을 활용해 순환 루프를 실행함.
- 모델 성능 — MiniMax 2.7 REAP 모델의 명령어 수행 및 도구 호출 능력을 활용함.
- 커뮤니티 반응 — 모델 선택과 오케스트레이션 방식에 대해 기술적 논쟁이 발생함.
MiniMax 2.7 REAP Q4 모델을 96GB VRAM, 192GB DDR5 UDIMM RAM, b840 MSI 보드, 9900X CPU 환경에서 구동 중임. 1250W 파워 서플라이를 사용하며 모든 그래픽 카드는 전력 제한이 걸려 있음. 운영체제는 리눅스 우분투.
에이전트 클래스 모델임. 명령어 수행 능력과 도구 호출 능력이 뛰어남. 이 모델을 CPU에서 실행되는 3개의 시퀀싱 에이전트와 함께 라운드 로빈 루프로 돌리고 있음. 이 '드리머'들은 20k~40k 토큰 범위의 표준 컨텍스트를 시스템 프롬프트에 로드함. 빠른 시퀀싱을 위해 MoE 모델을 사용하며, 모두 15-20 tg 및 300 PP 정도임. 각 루프는 완료까지 4~10분이 소요됨. 또한 전체 루프를 감시하며 잘못된 점 하나를 지적하는 비동기식 12b 밀집 모델도 있음.
