AI 에이전트를 위한 초간단 모니터링 툴을 만들고 있는데, 써볼 생각 있어?

문제는 확실히 존재함. 특히 에이전트가 장시간 실행되면서 외부 시스템과 상호작용할 때 더 심각함. 지금은 관측/디버깅 시장이 너무 붐벼서 차별화가 어려움. LangSmith, Helicone, OpenTelemetry, Braintrust, Phoenix, AgentOps 등 이미 너무 많음. 나한테는 '무슨 일이 일어났나'에서 '이 실행이 애초에 허용되었어야 했나'로 넘어가는 부분이 아직 미개척지로 보임.

리눅스 재단에서 만든 monocle2ai/monocle 한번 확인해봐. 트레이스 캡처가 오픈소스 monocle의 한 부분이고, 그 트레이스 위에서 테스트를 돌리는 게 두 번째 부분인데, 이걸 쓰면 결정론적 테스트랑 평가 기반 어설션을 아주 쉽게 실행할 수 있어. https://github.com/monocle2ai/monocle/blob/main/docs/monocle_test_assertions.md

이건 내가 어디서나 보고 있는 정확한 문제임. 문제는 단순히 모니터링이 아님. 대부분 팀이 자기 에이전트가 제약 조건을 따르는지, 아니면 그냥 환각을 일으키며 작업하는지 전혀 파악하지 못하고 있다는 게 문제임. 이미 비대해진 관측 플랫폼은 아무도 원하지 않으니 '초간단'이라는 접근은 아주 좋음.

데코레이터 방식은 깔끔함. 프로덕션에서 진짜 디버깅 고충은 단순히 실패한 게 아니라, 왜 에이전트가 그 경로를 선택했는지임. 단계별 로그는 무슨 일이 일어났는지는 알려주지만, 모델이 오염된 컨텍스트 윈도우에서 작업했는지 아니면 그냥 운 나쁘게 잘못된 도구 응답을 받았는지는 거의 안 알려줌.

응, 요즘 스택 곳곳에서 그런 도구들이 쏟아져 나오고 있어. LangSmith, Phoenix, Helicone, AgentOps, Braintrust 같은 것들 말이야. 나도 CapFence라는 작은 오픈소스 프로젝트를 만들고 있는데, 이건 관측성보다는 실행이나 권한 부여 쪽 문제에 더 집중하고 있어. 지금 생태계가 관측/디버깅, 평가, 실행 거버넌스로 서서히 나뉘고 있는 것 같아서 지켜보는 재미가 있네.