멀티 에이전트 스웜을 코드가 아닌 YAML 파일로 구축하는 프레임워크를 만들었습니다.

어렵게 배운 점들

도구 이름이 프롬프트보다 더 중요합니다. 코드 분석가의 목록에 get-api-docs라는 도구가 있었습니다. 사용자가 코드가 어떻게 빌드되는지 물어보면, 모델은 매번 그 도구를 호출했고, 프로젝트의 실제 코드가 아닌 일반적인 문서를 반환했습니다. 시스템 프롬프트에 "코드 질문에 이 도구를 사용하지 마십시오"라고 아무리 적어도 동작은 바뀌지 않았습니다. 결국 목록에서 도구를 제거했습니다. 문제가 해결되었습니다.

교훈: 에이전트의 행동은 프롬프트 지시가 아니라 도구 가용성을 통해 형성하십시오. 도구 이름이 사용자의 질문과 일치하면, 프롬프트에 무엇을 썼든 모델은 그 도구를 호출할 것입니다.

모델은 "그걸 살펴볼게요"라고 말하고 멈춥니다. 검색 결과가 반환된 후, 모델은 실제 파일 리더를 호출하지 않고 "파일을 검토해 보겠습니다..."라고 응답하곤 했습니다. 계획하는 언어만 있고 행동은 없었습니다. 저는 이 경우를 위해 특별히 감지 기능을 추가했습니다. 응답이 짧고 "살펴보겠다" 또는 "검토하겠다"와 같은 문구가 포함되어 있으면, 런타임은 "무엇을 할지 설명했지만 실행하지 않았습니다"라는 메시지와 함께 다시 보냅니다. 작은 일이지만, 게으른 무응답 유형을 완전히 제거했습니다. 저는 이를 에이전트 밀어주기(nudging)라고 부릅니다. 무한 루프를 방지하기 위해 허용되는 최대 밀어주기 횟수에 제한을 두는 회로 차단기를 추가했고, 대부분의 경우 잘 작동합니다. 작동하지 않는다면 입력 프롬프트를 개선해야 한다는 뜻입니다.

원시 도구 출력은 개발자가 아닌 사람에게는 쓸모가 없습니다. 벡터 검색 유사도 점수, 잘린 grep 라인, JSON 설정 덤프, 이것이 대부분의 에이전트가 "답변"으로 반환하던 것입니다. 에이전트가 자신의 도구 결과를 보고 일관된 응답을 작성하는 LLM 호출을 하나 더 추가했더니 모든 것이 바뀌었습니다. 턴당 한 번의 추가 모델 호출 비용이 들지만 출력을 실제로 사용할 수 있게 만듭니다.

대화 기록이 빠르게 늘어나고 에이전트가 혼란스러워합니다. 4~5턴이 지나면 컨텍스트는 이전 턴의 원시 도구 출력으로 가득 찼습니다. 모델은 혼란스러워하고, 이전 발견 내용을 반복하거나, 스스로 모순된 말을 했습니다. 이는 토큰 낭비와 환각 현상을 야기했습니다. 다음 세 가지가 도움이 되었습니다:

• 도구 결과 캐싱 — 같은 대화 내에서 동일한 검색은 재실행 대신 캐시에서 반환됩니다. 결정론적 도구 호출에 매우 효과적입니다.
• 기록 압축 — 마지막 3턴만 전체 내용을 유지하고, 이전 턴은 한 줄 요약으로 변환됩니다.
• 도구 결과 자르기 — 큰 출력은 컨텍스트에 들어가기 전에 잘리고, 전체 결과는 캐시에 남습니다.

비용 문제

이 부분이 가장 놀라웠습니다. 런타임은 각 에이전트가 YAML에서 자체 모델을 구성할 수 있도록 합니다. 예:

• 라우터: llama-3.3-70b ($0.10/M 토큰) — 질문을 누가 처리할지 결정만 함
• 작업자: deepseek-chat ($0.32/M)

(이하 생략)