Friendly lesson: explicitly tell Fable to not deploy Fable subagents
Fable이 사소한 작업에도 하위 에이전트를 무분별하게 생성해 토큰 사용량을 낭비하지 않도록 주의하라는 조언.
이제 여기서 나보고 손가락질하면서 비웃어도 되는데, Fable한테 Fable 서브 에이전트 쓰지 말라고 설정 안 해두면 사소한 작업에도 서브 에이전트를 8개씩(내 경우엔 그랬음) 쳐박아서 순식간에 사용량 다 털어먹는다는 걸 깨달았다. 아주 재밌는 교훈 하나 배웠네.
대부분의 사용자가 하위 에이전트의 무분별한 생성으로 인한 토큰 낭비를 경험했으며, 이를 방지하기 위해 명시적인 지시나 설정이 필요하다는 의견이 지배적임.
난 항상 작업에 적절한 모델과 노력을 들여서 하위 에이전트를 사용하라고 말함
자 이제 나를 비웃어도 좋음. 근데 Fable한테 Fable 서브 에이전트 쓰지 말라고 명시 안 하면, 사소한 작업에도 (내 경우엔) 8개나 되는 서브 에이전트를 배포해서 토큰 사용량을 순식간에 박살 낸다는 걸 깨달음. 아주 재밌는 교훈을 얻었네.
당연하지, 어느 정도는 그럴 거라고 생각함. 근데 다 그렇듯이 무작위성이라는 요소가 튀어나오거든. 나도 context 영향을 최소화하고 싶어서 이렇게 함. 이게 subagent 위임을 더 공격적으로 하게 만드는 거 같은데, 그냥 내 경험담일 뿐이고 제대로 evals를 돌려본 건 아님.
난 그냥 작업 가능한 가장 싼 모델 쓰라고 시키는데. 네 말이 똑같이 적용될지는 모르겠네. 테스트해 봐야겠다.
동의함. 솔직히 말해서 evals 설정하는 거 귀찮아서 미루고 있었음.
맞아, ultracode를 호출할 때도 마찬가지임. 미리 사양을 정해두는 게 좋음. 내 최고의 활용 사례는 작업자에 opus5, 주장에 반박할 adversary로 fable5를 쓰는 건데, 이게 항상 opus5를 뒤집어엎음. 동의함
대체 왜 ultracode를 호출하는 거야?
내 fable 오케스트레이터에서 가져옴: 난이도가 아니라 검증 가능성으로 라우팅하기: Claude 5 제품군을 채팅창이 아닌 오케스트라처럼 운영하기
누가 Claude 5 제품군 전반에 걸쳐 추론을 어떻게 구조화하냐고 물어봄. 짧게 말하면: 난이도가 아니라 검증 가능성으로 라우팅하셈. 질문은 "이 작업이 어려운가?"가 아님. "출력을 기계적으로 확인할 수 있는가?"임. 더 저렴한 모델의 작업을 grep, diff, 또는 테스트 실행으로 검증할 수 있다면, 아래 단계로 보내셈. 비싼 토큰은 판단을 위해 아껴두셈...
맞아. 난 한참 전부터 Fable 하위 에이전트를 절대 쓰지 말라고 지시해둠. 나도 뼈아프게 배웠거든
에이전트 지시 사항 — 상시 위임 형태. 너(메인 세션)는 오직 다음만 유지함: 나와의 브레인스토밍, 아키텍처 결정, 사양 및 계획, 오류의 근본 원인 분석, 빌드, 테스트 실행, 에디터 실행, 커밋, 그리고 문서. 나머지는 전부 위임함 — 메인 컨텍스트가 비싼 거니까.
요청하지 않으면 하위 에이전트 기능을 꺼놨음. 그래서 요청하지 않는 이상 대부분은 이렇게 사용량을 날리지 않을 거임. 그러니까 만약 요청한다면, 하위 에이전트가 더 낮은 적절한 모델을 사용하도록 확실히 지시하셈
이걸 위한 훅을 쓰셈. 난 세션당 fable이 하나만 존재하도록 하위 에이전트에 훅을 걸어둠
설정 파일에 적어두셈
응, 난 항상 이걸 알 수 있게 하네스(harness) 설정을 해둠
에이전트가 어떤 모델을 사용할지 구체적으로 설정할 수 있음
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
