Pi 시스템 프롬프트와 다양한 로컬 모델 사용 관련
Pi system prompt and various local models
핵심 요약
로컬 모델 사용 시 Pi 에이전트가 지시사항을 무시하고 불필요한 작업을 수행하는 문제에 대한 고민과 해결책 논의.
- 모델 제어 문제 — Pi 에이전트가 지시 범위를 벗어나 불필요한 작업을 수행함
- 프롬프트 엔지니어링 — 모델의 사고방식을 직접 수정하기보다 프롬프트 정밀도를 높여야 함
- 하네스 교체 고려 — 현재 사용하는 Pi 하네스 외에 다른 대안을 찾아보려는 시도
- 모델별 특성 — Qwen 3.8과 3.6, Gemma 등 모델마다 도구 호출 및 추론 방식의 차이 존재
여기 올려도 되는 건지 모르겠는데 일단 질러봄. Qwen이나 Gemma 같은 로컬 모델 돌릴 때 Pi 동작 방식 어떻게 수정하냐? QFN용으로 llama-server나 Strata 써서 돌리는 중이고, 모델별로 권장하는 샘플링 설정 그대로 쓰고 있음.
내 상황은 빠른 컨텍스트 압축용으로 pi-vcc만 쓰고 나머지는 없음. 나머지는 전부 AGENTS.md에서 가져오는데, 레포마다 다르고 당연히 글로벌 설정도 있음. 최근 제일 골치 아픈 게 Pi가 자꾸 멍청한 짓을 한다는 거임(프롬프트 엔지니어링이나 모델 자체 문제인 건 아는데). 예를 들어 "야, Docling 모듈 임포트 되는지 확인 좀 해줘. 백서 PDF 처리하려고. 다른 건 하지 말고 딱 확인만 해"라고 시킴. '다른 건 하지 마'라고 강조까지 했는데도 말이지.
Qwen 3.8 27B랑 QFN 쓸 때 이런 일이 생기는데... 그냥 "사용자가 Docling 모듈 확인해달라고 했네. 한번 해보자. 음 잘 되네. 근데 이것도 확인해봐야지. DOCX랑 PDF도 스캔해봐야겠다" 이런 식으로 나감. 이게 최근에 겪은 제일 멍청한 짓임.
내 AGENTS.md는 꽤 간결하게 짜놔서 어떻게 행동하라고 지시하지도 않음. 그냥 레포가 뭔지, ruff 돌리라는 정도만 적혀있음. Gemma 4는 더 가관임. 툴 콜이 개판이라(그냥 내 기준 Gemma 4가 그럼) 더 심한데, 이미지 읽고 설명해달라고 하면 이미지 자체가 말이 되냐고 따지기 시작함(예를 들어 애니 캐릭터 이미지 보여주면서 읽어달라고 하면, 사용자가 틀렸다고 함! 이건 다른 애니 캐릭터라고! 다른 이미지도 읽어봐야지! 이딴 식임).
이 추론 과정 지켜보다가 빡쳐서 ESC 누르고 수정하려고 함. Pi가 계속 헛소리를 늘어놓으니까 내가 제어하려고 해도 내 메시지가 도착할 때쯤이면 이미 내가 시킨 거랑 상관없는 짓 하느라 토큰 수천 개는 날아간 상태임.
Qwen 3.6 쓸 때는 이런 일이 거의 없었는데, 3.6은 좀 덜 똑똑해서 내 작업 하려면 일일이 다 떠먹여 줘야 함...
이게 하네스 문제인가? 다른 하네스도 써봐야 하나? Pi만 써봐서 잘 모르겠네. 혹시 나랑 비슷한 경험 있는 사람 있으면 좀 알려주라. GLM, Kimi, Deepseek Flash 같은 프론티어 모델은 안 써봐서 이런 문제가 안 생기는 건지 잘 모르겠음.
