pi-percy: 장기 세션을 위한 자동 압축 확장 프로그램

핵심 요약

Pi 에이전트의 컨텍스트 윈도우를 효율적으로 관리하는 자동 압축 도구 pi-percy 소개.

자동 압축 — 에이전트가 직접 불필요한 컨텍스트를 식별하고 압축함

비용 효율성 — 별도의 모델 없이 기존 세션 내에서 처리되어 추가 비용 없음

유연한 설정 — 토큰 임계값 및 유휴 시간 등 모든 옵션 사용자 지정 가능

데이터 보존 — 원본 메시지를 유지하며 필요시 recall 도구로 재검색 가능

컨텍스트 윈도우가 꽉 차기 전에 알아서 컨텍스트를 줄여준다. 에이전트가 같은 세션 안에서 직접 압축을 수행하는 방식임. 한동안 써봤는데 이 확장 프로그램 성능 진짜 미쳤다. 핵심 알고리즘은 exe.dev 팀이 만든 Shelley의 자동 압축 알고리즘을 기반으로 함.

작동 방식

컨텍스트가 200k 토큰에 도달하면 pi-percy가 에이전트한테 신호를 보냄. 이 신호에는 이전 메시지들의 인덱스가 포함돼 있음. 그 이후로는 50k 토큰이 쌓일 때마다 신호를 한 번씩 더 보냄.
에이전트가 필요 없는 옛날 항목들을 골라냄. 오래된 도구 출력값은 짧은 포인터로 바꾸고, 오래된 메시지 범위는 짧은 메모로 대체함.
pi-percy가 요청 내용을 검사함. 만약 요청이 잘못됐으면 pi-percy가 거부하고 에이전트한테 문제 목록을 알려줌. 그럼 에이전트가 다시 올바른 요청을 보냄.
pi-percy가 변경 사항을 Pi 컨텍스트 편집 내용으로 기록함. 세션에는 원래 메시지들이 전부 그대로 남아있음.

장점

작업 내용을 잘 아는 에이전트가 뭘 남길지 직접 결정함. 별도의 모델이 필요 없어서 추가 비용도 안 듦.
recall 도구를 쓰면 에이전트가 원래 메시지를 검색해서 다시 읽어올 수 있음.
유휴 상태 압축. 세션이 8분 동안 놀고 있으면 에이전트가 알아서 컨텍스트를 압축함. 이때쯤이면 프로바이더 캐시도 아마 만료됐을 테니 비용 부담도 적음.
프롬프트 캐시가 계속 유효함. pi-percy는 도구나 시스템 프롬프트를 건드리지 않고, 에이전트가 자잘하게 여러 번 압축하는 게 아니라 한 번에 크게 압축하니까 효율적임.
Pi 자체 압축 기능도 안전장치로 그대로 켜져 있음.
이 모든 임계값은 설정 가능하고 기본값도 합리적으로 잡혀 있음.

설치

pi install npm:pi-percy

Pi 1.4 버전 이상이 필요함.