AI 모델을 하루 4시간 이상 써도 구독 제한에 안 걸리는 이유 (Pi의 효율성)

당신이 쓰는 확장 프로그램들을 공유해주면 좋을 것 같음. 하나로 묶지 말고, 각각의 수정 사항을 별도의 확장 프로그램으로 만들거나, 아니면 그냥 목록이라도 공유해주면 우리가 Pi한테 구현해달라고 할 수 있을 듯.

너무 커스터마이징이 많이 되어 있어서 공유해봤자 의미가 없음. 차라리 프롬프트를 공유하는 게 나음.

'내 도구들을 bwrap으로 감싸고 샌드박스에 없는 건 다 차단하는 플러그인을 만들어줘. 샌드박스에 포함할 파일 확장자를 빠르게 선택할 수 있는 인덱스 도구도 만들어줘.'

즉, [ ] py [ ] css [ ] js 같은 체크박스가 있는 TUI랑 디렉토리 필터 같은 거임.

화이트리스트에 없는 걸 급하게 수정해야 할 때를 대비해서 Alt-Key 같은 단축키로 샌드박스를 끄는 기능도 씀.

ls 명령어나 파일이 너무 많은 디렉토리에서 명령어를 차단하고, 모델한테 타겟팅된 검색을 쓰라고 지시할 수도 있음.

이 정도면 시작하기 좋을 거임.

나도 거의 똑같이 하는데, 이건 프로젝트마다 달라서 딱 잘라 말하기 힘듦. codex 5x를 쓰면 1만 라인 정도 되는 프로젝트는 밤낮으로 돌려도 걱정 없지만, 코드 라인이 5만 줄 넘어가기 시작하면 프로젝트 분석할 때 프롬프트 직후에 컨텍스트가 바로 꽉 차버려서 토큰이 훨씬 빨리 타버림. 그 뒤로는 도구 호출 한 번당 캐시된 토큰이 10만 개가 넘어가거든.

(LoC는 예시일 뿐이고, 코드 모듈화 정도 같은 요소에 따라 당연히 다름. 그리고 대규모 프로젝트에서는 서브 에이전트가 도움이 되기 시작함. 작은 프로젝트에선 낭비지만, 큰 프로젝트에선 초기 검색을 수행하고 필요한 컨텍스트만 압축해서 실제 작업을 작은 컨텍스트에서 시작할 수 있게 해주니까 큰 도움이 됨.)

근데 대체 무슨 작업을 하길래? pi, omp, codex 셋 다 토큰 사용량 차이가 20% 내외고, 장기 작업에서는 전부 캐시 적중률이 98~99% 찍히는데, 사람들이 생각하는 것만큼 차이가 크지 않음.

내 친구도 게임 개발 쪽 일하는데 OpenAI나 Anthropic 맥스 플랜을 다 못 쓰더라. 난 하루 만에 다 태워버릴 수 있는데. 작업할 프로젝트도 많고, 매번 제대로 돌아가는 파이프라인도 있고. PR 기반에 리뷰 게이트/루프도 걸려있고. Paperclip 같은 실험적인 것들도 있고.

에이전트 시스템 스케일링을 깊게 파고들수록 비용이 기하급수적으로 늘어남. 말 그대로 프롬프트가 곱절로 늘어나니까. Jev의 마법 같은 기능들이 Frappe Flow, Firstmate, Gas Town 같은 곳에도 적용됐으면 좋겠음. 위임 기능 있는 멀티 에이전트 툴들이라면 다들 그렇겠지만.