AI 에이전트를 만들면서 가장 놀랐던 점은 AI가 아니었다

맞아, 나도 방금 이 생각을 하고 있었음. 현재 로컬 소형 모델에서 돌아가는 에이전트를 작업 중인데, 프롬프트 관련 질문은 사실 작업이 LangGraph의 단일 노드에서 처리하기에 너무 복잡해져서 분할해야 할 때에 관한 것임. 그 외에는 대부분의 시간을 상태 모델링과 상태 변경을 처리하는 데 쓰고 있음.

동감함. AI는 종종 가장 작은 부분일 뿐이고, 시간을 잡아먹는 건 그 주변의 플랫폼임.

내가 시간을 쏟았던 것들:

• 실행 결과를 재현하고 비교할 수 있도록 ID를 포함한 도구 호출 로깅
• 불안정한 API가 시스템을 마비시키지 않도록 백오프/지터(backoff/jitter)와 서킷 브레이커를 적용한 재시도 로직
• 도구별, 사용자별 속도 제한
• 요약/삭제를 통한 컨텍스트 최소화 (그렇지 않으면 도구 라우팅 성능이 시간이 지날수록 떨어짐)

제대로 된 추적(trace) 기능이 있으면, "왜 X를 선택했는가"에 대한 답이 훨씬 명확해짐. 왜냐하면 실제로 볼 수 있으니까...

나도 똑같이 느꼈음. 그래프가 노드 몇 개를 넘어가면 프롬프트 튜닝은 뒷전이고, 상태 관리랑 왜 특정 단계에서 그 툴을 골랐는지 파악하는 게 주 업무가 됨. 아직 '에이전트 방식'은 시기상조인 것 같고, 더 결정론적인, 즉 '단순한' 워크플로우로 돌아가야 한다고 봄.