Open Dungeon: Gemma 4 QAT + 인라인 Uncen-FLUX 이미지로 구동되는 로컬 롤플레잉, 8GB RAM 미만에서 256K 컨텍스트 지원
Open Dungeon: local roleplay with Gemma 4 QAT + inline Uncen-FLUX images, running at full 256K context under 8GB RAM (OS)
핵심 요약
완전 로컬 환경에서 개인정보 보호를 보장하며 8GB RAM으로 256K 컨텍스트를 지원하는 AI 롤플레잉 도구입니다.
- 완전 로컬 구동 — API 키나 클라우드 없이 기기 내에서만 작동함
- 효율적인 메모리 관리 — Gemma 4 모델로 8GB RAM에서 256K 컨텍스트 유지
- 자동 이미지 생성 — FLUX를 사용하여 장면을 로컬에서 즉시 시각화함
- 사용자 친화적 UI — AI Dungeon과 유사한 직관적인 모드와 편집 기능 제공
AI Dungeon 같은 걸 원했는데, 완전히 로컬에서 돌아가고 실제로 프라이빗한 걸 원해서 직접 만들었습니다. 내레이터는 Ollama를 통한 Gemma 4 (QAT Q4)이고, 장면을 보여줄 가치가 있을 때는 로컬에서 FLUX를 사용해 그림도 그려줍니다. API 키도 없고, 클라우드도 없고, 그 어떤 데이터도 기기 밖으로 나가지 않습니다.
놀라웠던 점은 12B 모델을 256k 컨텍스트 전체로 돌려도 RAM을 7.7GB 정도밖에 안 쓴다는 겁니다. Gemma 4는 KV 캐시가 거의 늘어나지 않거든요. 그래서 내레이터가 기본적으로 이야기 전체를 머릿속에 담고 있을 수 있습니다. 스크롤 밖으로 밀려난 오래된 장면들은 실행 중인 요약본으로 합쳐지기 때문에 1장에서 무슨 일이 있었는지 절대 잊지 않습니다.
사용법은 예상하시는 그대로입니다: / Say / Story 모드, 계속하기, 다시 시도, 지우기, 모든 줄 편집 가능. UI에서 모델을 선택하면 RAM 사용량을 미리 보여줍니다.
릴리즈 페이지에 Mac용 원클릭 빌드가 있고, 소스에서 직접 실행할 수도 있습니다. MIT 라이선스니까, 많이들 써보고 고장 내보면서 부족한 점을 알려주시면 좋겠습니다.
