r/langchain•3개월 전•13•7
LangSmith는 트레이싱엔 좋지만 프로덕션 회귀를 못 잡네요. 다른 대안이 있을까요?
langsmith is fine for tracing but it's not catching prod regressions. what else?
핵심 요약
LangSmith의 정적 평가 방식이 실제 멀티턴 에이전트의 프로덕션 회귀를 잡아내지 못해 대안을 찾고 있습니다.
- LangSmith 한계 — 트레이싱은 훌륭하지만 프로덕션 회귀 탐지에는 부족함
- 평가 방식 문제 — 정적인 데이터셋 기반 평가로는 실제 상황을 반영하기 어려움
- 대안 탐색 — 멀티턴 에이전트 환경에서 회귀를 효과적으로 잡을 수 있는 도구 필요
제목 그대로입니다. 우리는 트레이싱 용도로 LangSmith를 사용 중이고 그 점은 아주 좋습니다. 하지만 LangSmith 평가를 통과한 프롬프트 변경 사항들이 프로덕션에서 미묘하게 계속 깨지고 있습니다. LangSmith 데이터셋 평가는 우리 상황에 비해 너무 "정적인 데이터셋"처럼 느껴집니다.
다들 실제 회귀를 잡아내기 위해 LangSmith와 무엇을 병행하거나 대체하고 있는지 궁금합니다. 특히 단일 프롬프트 평가가 아니라 멀티턴 에이전트 관련해서 찾고 있습니다.
