Sol as Orchestator and Deepseek as implementor.
pi-subagents 설정 중 Sol이 모든 작업을 독점하는 문제에 대한 해결책을 논의합니다.
안녕하세요,
pi harness는 처음이라 제대로 설정하려고 합니다. 제가 한 작업은 이렇습니다. pi-subagents를 설치했고, 서브 에이전트가 Deepseek V4 Flash를 사용하도록 설정해달라고 요청했습니다.
그런데 작업이 거의 모든 부분에서 Sol을 사용하네요. 제가 뭘 잘못한 걸까요?
감사합니다. 여기 처음이라 잘 부탁드립니다.
사용자들은 서브에이전트의 높은 비용과 비효율성을 지적하며, 직접 모델을 전환하거나 프롬프트를 최적화하여 작업 흐름을 관리하는 방식을 권장하고 있습니다.
서브에이전트 없이 해봐. 그냥 Pi한테 계획 짜달라고 하고, DeepSeek으로 전환해서 계획 구현하라고 시킨 다음, 다시 Sol로 바꿔서 변경 사항 검토하라고 해봐.
서브에이전트는 작업 끝내는 데 한세월 걸리고 크레딧도 엄청나게 잡아먹더라.
ㄹㅇ 그게 대체 왜 그런 거임?? 서브에이전트 플로우가 시간도 엄청 잡아먹고 토큰도 미친 듯이 쓰는 거 진짜 어이없음.
난 그거 지워버렸고 요즘은 그냥 플랜 모드만 써. 그래야 코딩할 때 더 싼 모델로 바꿀 수 있거든.
모델 바꾸면 캐시된 토큰 다 날아가는 거 아니었어?
내 이해로는 그대로 남아있을 거야. 그래서 코딩에서 검토 단계로 원래 모델로 다시 돌아오면, 기존 계획은 캐시되어 있으니까 새로 추가된 내용만 채워 넣는 식이지. 난 출력 토큰 비용이 입력보다 비싸서 코딩 출력은 더 싼 모델을 선호해서 이렇게 해.
프롬프트 캐시가 나한테는 꽤 빨리 만료되는 것 같음. pi에서 옵션 켜보면 캐시 미스 날 때마다 다 확인할 수 있음. 몇 분만 지나도 캐시 미스 뜨는 경우가 허다함.
맞아, 근데 첫 번째 요청에서만 그래. 두 번째 모델에서 구현하면 툴 호출을 많이 하게 될 텐데, 거기서부터는 다시 다 캐시될 거야. 작업을 넘길 때도 구현자한테 딱 필요한 것만 줘야 해. aihero.dev 한번 봐봐.
채팅으로 소통하는 메인 에이전트가 있고, 스크린샷처럼 서브 에이전트를 호출할 수 있습니다. 즉 메인 에이전트가 오케스트레이터인데, 오케스트레이터의 역할을 수행하지 않는 거죠. 아마도 여전히 스스로를 그냥 메인 에이전트로 생각하고 있어서 그럴 수 있으니, 오케스트레이터로 만들어줘야 합니다. 메인 프롬프트에는 "당신은 사용자가 터미널과 프로젝트 환경에서 직접 프로그래밍 및 기술적 작업을 해결하도록 돕는 전문 AI 코딩 에이전트 Pi입니다. 당신의 주된 ..."이라고 되어 있거든요.
리뷰어를 Sol로 설정해보세요. 높은 수준의 작업이라 Deepseek이 스스로 검토하게 두는 건 좋지 않거든요. 실수가 있을 수 있으니 고성능 모델이 검토하고 수정 사항을 보내게 하는 게 낫습니다.
수정: 플래닝도 Sol을 추천합니다. 오라클과 리뷰어는 xhigh나 max로, 플래너는 high 정도로요. 나머지는 괜찮습니다.
다시 수정: 질문에 답하는 걸 깜빡했네요. 작업이 요구하지 않는 한 서브 에이전트를 호출할 필요가 없어서 그럴 겁니다.
일리가 있네요. 감사합니다. 시도해 볼게요.
이거 Pi한테 물어봐!
Pi한테 물어볼 수도 있지. 근데 서브에이전트나 pi-extensible-workflows 같은 워크플로우 플러그인을 쓸 때는 누구한테 뭘 할당하는지 신경 써야 해.
난 DeepSeek이 상위 모델의 검토자로 아주 좋다고 생각함. 하지만 같은 모델의 다른 인스턴스가 한 작업을 다시 그 모델로 검토하게 하는 건 절대 좋은 생각이 아님.
같은 제공업체의 모델 2개를 쓰는 것도 결과가 별로일 수 있다고 봐.
즉, 개발 모델이 Anthropic이면 검토자는 Anthropic이 아니게 확실히 해두라는 거지.
난 시스템 프롬프트를 수정했어. 그리고 모델한테 오케스트레이션에 대한 구체적인 지침을 주는 오케스트레이트 프롬프트도 따로 만들었지.
정말 테스트해보고 싶다면, 리서치를 시키면서 서브 에이전트를 사용해 그 리서치를 바탕으로 계획을 세우라고 해보세요. 프롬프트에 명시했으니 서브 에이전트가 작동하는 걸 볼 수 있을 겁니다. 그대로 수행한다면 설정이 맞는 거고, 아니면 설정 어딘가에 문제가 있는 걸 수도 있어요. 한번 해보세요.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
