r/LocalLLaMA•5개월 전•90•28
48GB VRAM에서 500k 컨텍스트 구현!! - 21tok/s (코딩)
500k context on 48gb VRAM!! - 21tok/s (coding)
핵심 요약
48GB VRAM 환경에서 Mamba 아키텍처를 활용해 500k 컨텍스트를 구현한 사례 공유.
- Mamba 아키텍처 — KV 캐시 효율을 극대화하여 500k 컨텍스트에서도 높은 정확도를 유지함.
- 하드웨어 제약 — 48GB VRAM 환경에서 시스템 RAM 사용 없이 모델 구동을 시도함.
- 성능 논쟁 — 500k 컨텍스트의 실효성과 모델 자체의 성능에 대해 사용자 간 의견이 갈림.
- 코딩 활용 — 에이전트 기반 코딩 작업에서 기존 모델보다 뛰어난 성능을 보인다고 주장함.
Huggingface 구석에 숨어있던 이 모델을 찾았어요: https://huggingface.co/Max-and-Omnis/Nemotron-3-Super-64B-A12B-Math-REAP-GGUF
수학 특화 모델인 것 같지만, 120b Nemotron Super를 다 돌릴 순 없어서 한번 시도해봤는데, 웬일인지 에이전트 코딩에서 엄청 잘 버티네요. 일주일째 제 모든 프로젝트 코딩에 쓰고 있는데 진짜 대박입니다. 제 감자 PC인 듀얼 TITAN RTX에서 500k 토큰을 돌릴 수 있을 거라곤 꿈도 못 꿨거든요.
혹시 써보실 분들은 어디서 막히는지, 어떤 용도로 썼는지 댓글 좀 남겨주세요.
