AI 에이전트 하네스 구현에 대한 실무 가이드를 찾습니다

여기가 LangChain 서브레딧이니까, LangChain의 deepagents 라이브러리가 참고하기에 꽤 괜찮은 시작점임.

프로덕션 환경의 에이전트 시스템은 프레임워크랑 상관없이 결국 다 비슷비슷해짐. 보통 execution loop(plan → act → observe → repeat), 명시적인 state management, 단기/장기 기억으로 분리된 memory, 그리고 에이전트가 왜 그렇게 행동했는지 파악할 수 있는 좋은 tracing이랑 evaluation이 필요함.

처리량이 많다면 LLM 호출하기 전에 rule-based classification을 먼저 하는 게 좋음. 우리가 작업했던 파이프라인에서는 structured metadata랑 알려진 패턴만으로도 모델 안 쓰고 분류의 60~70%를 처리했음. LLM은 규칙으로 해결 안 되는 것들에만 돌렸고. 이렇게 분리하니까 디버깅도 훨씬 깔끔해짐. deterministic logic이 어디서 끝나고 model judgment가 어디서 시작되는지 딱 보이니까, 문제 생겼을 때 어느 레이어를 봐야 할지 바로 알 수 있었음.

monitoring, evaluation, guardrails 쪽은 특히, loop에 OpenTelemetry 스타일의 trace를 심어서 모든 planning step, tool call, retry를 span 단위로 검사할 수 있게 만들어야 함. 그리고 transcript를 눈으로 보는 대신 그 trace 위에 evals(task success, tool-call correctness, groundedness)를 얹는 거지. guardrails는 프롬프트에 지시사항으로만 넣지 말고, 위험한 작업에 대해서는 runtime에 inline으로 적용해. 우리는 harness 수준에서 observability랑 evals를 구축하는데, 가장 중요한 교훈은...