로컬 모델을 위한 Pi 메모리 설정
Pi Memory for Local Models
핵심 요약
로컬 환경에서 Pi의 메모리 관리 효율을 높이기 위한 다양한 방법과 도구들을 공유하고 논의합니다.
- 메모리 솔루션 — pi-observational-memory의 대안으로 pi-memctx나 수동 관리 방식이 언급됨
- 성능 최적화 — CPU 전용 모델 사용 시 GPU 간섭으로 인한 속도 저하 문제와 해결책 논의
- 워크플로우 개선 — AGENTS.md와 SKILLS를 활용한 미니멀리즘 접근법 공유
- 품질 관리 — 요약 품질을 높이기 위해 KV 캐시를 재사용하는 새로운 확장 기능 제안
qwen3.8:27b 모델을 262k 컨텍스트 윈도우로 돌리면서 토큰 속도도 꽤 잘 나오는 괜찮은 로컬 Ollama 환경을 구축해 놨어.
지금 pi-observational-memory를 돌려보려고 하는데, 주 목적은 두 가지야.
- 장기 프로젝트: 아키텍처 결정 사항, 배운 점, 해결한 문제 같은 것들을 기억하기.
- 일상 업무: 내 선호도, 작업 패턴, 그리고 전반적으로 내가 일을 어떻게 처리하는지 세세하게 기억하기.
환경은 잘 돌아가는데, observer랑 reflector 워커가 작동할 때마다 딜레이가 너무 길어(예상했던 일이긴 하지만). 워커들이 동시에 돌아가질 않거든.
이 워커 스레드들을 관리할 전용 CPU 모델을 따로 돌려볼까 생각 중인데, 혹시 비슷한 상황에서 다들 어떻게 하고 있는지 궁금해서 물어봐.
참고로 pi-observational-memory에 딱히 미련 있는 건 아니라서, 다른 솔루션 있으면 얼마든지 시도해 볼 생각이야.
