What are you using instead of LangSmith these days?
LangSmith를 대체할 만한 트레이싱, 평가, 관측성 도구에 대한 추천을 구하는 질문입니다.
요즘 LangSmith 대신 트레이싱, 평가, 에이전트 관측성을 위해 어떤 도구를 쓰는지 궁금합니다.
오픈 소스, 자체 호스팅, 경량형, 엔터프라이즈 등 무엇이든 상관없습니다. 실제 워크플로우에서 사람들이 실제로 선호하는 도구가 무엇인지 알고 싶습니다.
LangSmith의 대안으로 Mlflow, Braintrust, Armorer 등이 거론되었으며, 특히 트레이싱과 리뷰 기능을 분리하여 관리하는 실무적 접근 방식이 강조됨.
최적화하려는 목적에 따라 다름. 가볍고 자체 호스팅 가능한 걸 원하면 Arize의 Phoenix가 트레이싱과 기본적인 평가 기능 면에서 탄탄함. 순수 관측성만 필요하면 그냥 Postgres에 커스텀 도구 써서 모든 툴 호출을 입력/출력/지연 시간/에러와 함께 기록하고 필요할 때 쿼리함. Langfuse는 내가 써본 것 중 LangSmith를 가장 완벽하게 대체할 수 있는 드롭인 도구임. 호스팅 버전이나 자체 호스팅 모두 가능하고 UI도 괜찮으며 스팬 트레이싱도 제대로 됨. 호스팅 티어를 쓰더라도 비용이 훨씬 저렴함.
Monocle을 Grafana Tempo랑 같이 써도 됨. 지금까지 찾은 것 중 가장 비용 효율적이고 설정도 간단함.
Mlflow
우리 스타트업은 몇 달 전에 Braintrust를 도입했는데 팀원들 반응이 꽤 괜찮음. 난 대시보드 덕후인데 데이터 시각화가 아주 훌륭하더라.
실무에서는 트레이싱이랑 리뷰 기능을 분리하는 게 좋음. 트레이싱은 '언제 무슨 일이 일어났나'를 알려주니까 LangSmith나 Langfuse, OTel 스타일 트레이싱 도구가 유용함. 근데 난 '뭐가 바뀌었고, 뭐가 승인됐고, 뭐가 실패했고, 사람이 뭘 검토해야 하는지' 알려주는 간결한 실행 기록도 필요함. 지금 로컬/셀프 호스팅 제어판 방향으로 Armorer를 실험 중인데, 다른 스택을 쓰더라도 트레이싱이랑 내구성을 둘 다 챙길 수 있는 걸 찾아보는 걸 추천함.
Claude Opus 5.5를 활용해 이미지 파일 없이 코드만으로 포켓몬 레드 버전을 브라우저에서 플레이 가능하게 재구현한 프로젝트입니다.
Claude Opus 5.5를 활용해 이미지 파일 없이 코드만으로 포켓몬 레드 버전을 브라우저에서 플레이 가능하게 재구현한 프로젝트입니다.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
