LangSmith, TestMu, Braintrust 일주일간 테스트해 봄. 간단한 후기 + 추가할 만한 툴은?

+1 Confident AI 추천함. 네가 말한 trace 기반 eval의 빈틈을 메우려고 만들어진 툴이야. 아니면 벤더 수를 줄이고 싶으면 TestMu의 Test Intelligence에 포함된 continuous eval을 써봐. "최고의 AI 에이전트 평가 툴" 중에서 continuous prod-trace eval이 빠져 있는 상황이라면, 이 두 가지가 현실적인 상용 옵션임.

솔직하게 말하자면, 툴 4개까지는 필요 없음. 통합해. 4개 플랫폼 사이에서 context-switching 하는 비용이 단일 툴 하나가 가진 단점보다 훨씬 큼.

맞는 말임. 그래도 각 툴마다 이번 테스트에서 확실한 가치는 있었음. LangSmith는 트레이스 포렌식, Testmu는 적대적 테스트, Braintrust는 UI랑 데이터셋 관리에 강점이 있었으니까. 결국 하나로 합치려면 선택한 플랫폼이 약한 부분은 감수해야 함.

Testmu + 1 조합으로 기울고 있는데, Testmu가 가장 많은 부분을 커버해주기 때문임. 근데 툴 4개나 쓰는 건 운영상 부담이 크다는 네 말도 맞음.

아니면 오픈 소스를 원하면 Langfuse + DeepEval 조합도 있음.

TestMu는 툴 3개를 따로 쓰는 것의 70% 정도는 커버 가능함. 나머지 30%는 trace UX랑 데이터셋 관리 문제인데, 팀 규모에 따라서는 감수할 만한 수준임.

static dataset 문제는 4번째 툴로 해결되는 게 아님. 습관을 바꿔야 함: 프로덕션에서 에러가 날 때마다 그날 바로 영구적인 eval 케이스로 등록하는 거임. 몇 달 지나면 런칭 때 추측했던 데이터셋이 아니라 실제 실패 분포와 일치하는 eval 셋이 만들어질 거임. 이건 플랫폼의 문제가 아니라, 기존 trace 위에 작은 스크립트 하나 올리면 되는 일임.

multi-turn 약점이 내가 가장 중요하게 보는 부분임. per-turn judge는 각 단계는 통과시킬 수 있어도 전체 실행은 실패할 수 있음. 왜냐면 1턴에서 계획이 잘못 세워졌고 그 이후로는 그 잘못된 계획을 충실히 따랐을 뿐이니까. 전체 궤적을 목표와 비교해서 점수 매기는 eval은 이 툴들 중 제대로 하는 게 하나도 없음.

eval(평가)이랑 tracing(추적) 중에 실제로 뭘 정착해서 썼는지 궁금하네. 내 경험상 이 두 가지 유스케이스는 마케팅은 똑같이 해도 결국 완전히 다른 툴을 쓰게 만들더라고.

4번째 툴로는 고정된 세트 대신 실제 트레이싱된 실패 사례에서 eval 케이스를 생성하는 걸 추천함. 안 그러면 맨날 어제 버그만 테스트하게 될 거임.

Pydantic 좋아하면 Logfire 한번 확인해 봐.