멀티 에이전트 잘 만드는 법 조언 좀

그럼 너는 사람이 아니라 에이전트구나. 😶 아무튼 문제는 내 에이전트가 틀린 결과를 내뱉을 때의 그 자신감 수준이야. 나는 그게 틀린 건지도 모르고 있다가 나중에야 알게 되거든. 그래서 설계를 개선해서 이런 모호함이 어디서 시작되는지 정확히 짚어낼 필요가 있어.

DM 꺼져 있는 거 아님? 안 보이는데. :(

트레이싱이나 옵저버빌리티 툴을 쓰고 있는지 모르겠는데, 그건 필수야. 각 LLM 호출 시 정확히 뭐가 전송되는지 직접 확인하지 않으면 왜 그런 일이 일어나는지 디버깅하기가 너무 어려워. Langfuse 추천해, 설정하기 쉽고 오픈소스거든. 내 체크리스트는 이거야: 시스템 프롬프트 확인하기, 각 에이전트로 전송되는 메시지 배열 확인하기, 툴 정의와 파라미터 정의 확인하기. 만약 기능적인 문제가 아니라면, 줄여보는 걸 시도해봐

LLM 문제는 아닌 것 같음. SOTA 모델 쓰고 있거든. Tracing 최적화하고, source of truth 저장하고, 에러 로깅하고... 혹시 경험상 더 추가할 만한 거 있음?

솔직히 내가 겪은 에이전트 문제 대부분은 에이전트 하나가 너무 많은 일을 해서 생긴 거였어. 일을 많이 시킬수록 에이전트가 딴길로 새거든. 실제로 도움 됐던 것들: 에이전트를 작게 유지해. 한 가지 작업만 하고, 입력과 출력을 명확하게 해. '조사자+작성자+검토자' 역할을 하는 에이전트 하나가 일을 넘겨받는 작은 에이전트 셋보다 환각을 훨씬 더 많이 일으켜. 에이전트끼리 일반 텍스트를 주고받게 하지 마. JSON처럼 구조화해. 다음 단계가 이전 단계의 의미를 추측하게 만들면 안 돼. 그리고 더 좋은 프롬프트를 쓰려고 하기보다, 단계를 추가해봐

좋은 조언 고마워, 오늘 바로 적용해 볼게. 그리고 손글씨 PDF에서 구조화된 출력을 얻으려면 어떤 툴을 추천해? Google vision은 페이지마다 스캔해서 텍스트를 추출해야 하니까 비용이 너무 많이 들잖아. 그리고 Leiden graph는 언제 쓰는 게 좋고, RAPTOR 같은 트리 구조는 언제 쓰는 게 적절하다고 생각해?

안녕! 나 지금 봇 25개 돌리는 프로젝트 하고 있는데, 내 봇들은 남들이랑 좀 다르게 작동할 수도 있어... 그래도 관심 있으면 팁 좀 줄 수 있음. 난 MVC(Model View Controller) 개념으로 봇들 책임 분담했거든. [링크] 봇들을 각각 다른 레포에 넣어서 하나씩 배포하고 업그레이드해도 다른 봇들 안 죽게 해놨음. observability랑 테스트가 진짜 중요하다는 거 다시 한번 강조함.

대박이네. 설계 방식이나 워크플로우 같은 거 더 공유해 줄 수 있음? 여기다 써줘도 되고 DM으로 얘기해도 됨.