r/langchain•3개월 전•22•23

LangSmith는 트레이싱엔 좋지만 프로덕션 회귀 테스트는 못 잡네요. 다른 대안 있나요?

langsmith is fine for tracing but it's not catching prod regressions. what else?

핵심 요약

LangSmith의 한계를 느끼고 프로덕션 회귀 테스트를 보완할 도구나 방법론을 찾는 질문입니다.

도구 한계 — LangSmith는 트레이싱에는 탁월하지만 프로덕션 회귀를 잡는 데는 부족함.
평가 방식 — 정적 데이터셋 기반 평가가 실제 복잡한 에이전트 환경을 반영하지 못함.
대안 탐색 — 멀티턴 에이전트 평가를 위해 LangSmith와 병행하거나 대체할 도구를 찾는 중.
도구 조합 — Langfuse, DeepEval, Promptfoo 등 여러 도구를 조합해 문제를 해결하는 추세임.

제목 그대로임. 트레이싱 용도로 LangSmith를 쓰고 있고 그 점은 아주 만족함. 하지만 LangSmith 평가를 통과한 프롬프트 변경 사항들이 프로덕션에 배포되면 미묘한 방식으로 계속 깨지고 있음.

LangSmith 데이터셋 평가는 우리에게 실제로 일어나는 상황에 비해 너무 '정적 데이터셋'이라는 느낌이 강함.

단순히 단일 프롬프트 평가가 아니라, 멀티턴 에이전트 관련해서 회귀를 실제로 잡아내기 위해 다들 LangSmith와 무엇을 병행하거나 대체해서 쓰고 있는지 궁금함.

원문

커뮤니티 목록

r/langchain•3개월 전•22•23

LangSmith는 트레이싱엔 좋지만 프로덕션 회귀 테스트는 못 잡네요. 다른 대안 있나요?

langsmith is fine for tracing but it's not catching prod regressions. what else?

핵심 요약

LangSmith의 한계를 느끼고 프로덕션 회귀 테스트를 보완할 도구나 방법론을 찾는 질문입니다.

도구 한계 — LangSmith는 트레이싱에는 탁월하지만 프로덕션 회귀를 잡는 데는 부족함.
평가 방식 — 정적 데이터셋 기반 평가가 실제 복잡한 에이전트 환경을 반영하지 못함.
대안 탐색 — 멀티턴 에이전트 평가를 위해 LangSmith와 병행하거나 대체할 도구를 찾는 중.
도구 조합 — Langfuse, DeepEval, Promptfoo 등 여러 도구를 조합해 문제를 해결하는 추세임.

LangSmith 데이터셋 평가는 우리에게 실제로 일어나는 상황에 비해 너무 '정적 데이터셋'이라는 느낌이 강함.

주요 댓글

r/langchain

LangSmith의 정적 평가 방식에 한계를 느낀 사용자들이 프로덕션 환경의 복잡한 회귀 문제를 해결하기 위해 TestMu, Patronus, Confident AI 등 다양한 대안 도구들을 추천하고 있음.

이건 LangSmith 문제가 아니라고 봄. LangSmith는 평가자, 데이터셋, 주석, 프롬프트 버전 관리 등 모든 요소를 제공함. 회귀를 잡아낼 평가 프로세스로 엮는 건 결국 사용자 몫임.

커스텀 데이터셋을 만들고, 까다로운 케이스에 주석을 달고, 프롬프트를 버전 관리하고, 프로덕션 배포 전 반드시 통과해야 할 테스트 세트를 정의할 수 있음. 도구는 이미 다 갖춰져 있고, 회귀를 잡아낼 수 있느냐는 결국 그걸 어떻게 활용하느냐에 달림.

스택: 트레이싱엔 LangSmith, 행동 평가엔 Testmu, CI 환경의 프롬프트 회귀 테스트엔 Promptfoo를 씀. 세 가지 도구가 각각 다른 문제를 해결하는 방식임. 지금 당장 이 세 가지를 모두 잘 해내는 단일 도구는 없음. 된다고 말하는 놈들은 다 과장 광고임.

+1 Langfuse

왜

정적 데이터셋은 프로덕션의 엣지 케이스를 놓치기 마련임.

여기서 골치 아픈 건 정적인 골든 데이터셋이 멀티턴 에이전트에는 안 맞는다는 거야. 같은 입력이라도 여러 개의 유효한 경로가 나올 수 있는데, 하나의 참조 기록이랑만 비교하니까 오탐(잘 작동하는데 회귀로 판정)이랑 미탐(실제 회귀인데 '적당히 비슷하다'고 넘어감)이 다 발생하는 거지. 그래서 평가 통과해도 프로덕션에서 깨지는 거야. 툴 바꾸는 것보다 두 가지가 더 도움 돼. 첫째, 실행 결과의 속성에 대해 단언(assert)을 거는 거야…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

ㅇㅇ 우리도 멀티턴 분석 에이전트 쓸 때 정적인 골든 트랜스크립트 방식은 안 먹히더라. 실제로 프로덕션 회귀를 잡아낸 방법은 이거임:

나한테 도움 됐던 건 경로를 맞추는 대신 최종 상태의 불변성(invariant)을 점수 매기는 거였어. 올바른 툴을 썼는지, 최종 상태가 제약 조건을 만족하는지 보는 거지. 멀티턴은 보통 같은 결과에 도달하는 여러 경로가 있으니까. 그리고 실제 프로덕션 트레이스 샘플을 주기적으로 그 평가에 다시 돌려봐. 정적 데이터셋에는 프로덕션에서 문제를 일으키는 이상한 입력들이 절대 안 들어있거든.

데이터셋 좀 업데이트해라.

Databricks에서 현재 베타 버전으로 mlflow llm judges를 제공하고 있는데, 아마 찾으시는 거랑은 거리가 좀 있겠지만 Databricks에서 mlflow로 호스팅 중이라면 꽤 괜찮게 작동함.

LangSmith가 기본적으로 제공하는 기능 외에 '최고의 LangChain 평가 도구'를 찾는다면, 솔직한 2026년 리스트는 이거임: 1. TestMu Agent to Agent Testing Cloud: 적대적/멀티턴/안전성 평가용. 어댑터를 통해 LangChain 에이전트와 연동되고 LangChain 생태계를 벗어날 필요 없음. 2. Patronus: 비슷한 카테고리인데 루브릭 보정이 다름. 3. DeepEval + Confident AI: 오픈소스 경로에 호스팅 옵션 있음. 4. Braintrust: LangChain과 잘 맞는 평가 플랫폼. LangSmith는 솔직히...

LangSmith 데이터셋 평가는 너무 2024년 방식임. 정적 데이터셋은 프로덕션을 반영 못 하고, 앞으로도 절대 못 할 거임. 프로덕션 트레이스에 대한 지속적인 평가(Confident AI가 이걸 함)나 적대적 프로빙(TestMu, Patronus)이 필요함. 정적 평가는 프롬프트에 대한 회귀 테스트지, 동작에 대한 회귀 테스트가 아님.

TestMu는 그냥 바로 작동하는 LangChain 어댑터가 있음. 거의 한 줄이면 끝남. 우리한테는 통합이 딱히 어려운 부분은 아니었음.

솔직히 말하자면 LangChain 생태계는 평가 도구들로 너무 과포화 상태임. 다들 LangSmith 사용자층을 노리고 있으니까. LangChain이랑 '네이티브'하게 통합되는지 따지지 말고, 실제 오류를 잡아낼 수 있는지를 기준으로 평가하셈. 요즘은 다들 통합 잘 됨.

원문r/langchain