프로덕션 환경에서 AI 에이전트 관측 가능성(observability)을 위해 무엇을 사용하시나요? (그리고 어떤 점이 불편한가요?)

Langsmith랑 Honeycomb 쓰고 있음. Honeycomb에 eval/실험 개념이 없는 게 짜증 나. 마지막 질문에 대해서는, 그 플랫폼들이 비엔지니어를 위한 곳은 아니지 않나? 알림은 몰라도, 왜 굳이 그 사람들이 트레이스를 보게 하려는 거야?

맞는 말이야. 트레이스를 직접 보게 하려는 건 아닐 수도 있지. 근데 만약 단순화된 뷰가 있다면 어떨까? '에이전트가 오늘 47번 실행됐고, 38번 성공, 9번은 이런 이유로 실패함.' 스팬도 없고 워터폴도 없이, 그냥 평범한 영어로 된 작업 결과만 보여주는 거지. 그럼 생각이 바뀔까?

그 사람들이 그런 플랫폼에 머물러야 한다면 대시보드를 만들어 줘. 여기 경쟁사들은 다들 언급한 데이터를 대시보드로 보여주는 방식이 있어. 나라면 차라리 에이전트에게 스킬을 하나 부여하겠어. 요즘은 커스텀으로 만드는 게 워낙 싸니까. 만약 제품을 만들려고 조사 중인 거라면, 내 생각엔 이런 류의 제품은 수요가 별로 없을 것 같아.

솔직한 의견 정말 고마워. 내가 딱 필요했던 정보야. '커스텀 스킬이 더 싸다'는 관점이 강력한 반론이네. 참여해 줘서 고마워.

난 꽤 오랫동안 Langfuse를 써왔고, LangGraph 기반 에이전트를 위해 프로덕션에서 여전히 돌리고 있어. 최종 사용자 경험은 꽤 탄탄해. LangGraph를 쓰니까 Langfuse가 개별 노드까지 그래프 수준의 관측 가능성을 제공해 주고, 실행당 모델 비용, 총 실행 시간, 첫 토큰까지의 시간 같은 유용한 인사이트도 줘. 처음엔 셀프 호스팅 버전을 썼는데, 잘 작동하긴 했지만 배포 관리가 좀 번거로워져서...