LangChain으로 에이전트 워크플로우는 쉽게 만들었는데, 운영 단계의 추적, 평가, 가드레일, 테스트는 뭘 써야 할까?

많은 팀들이 이미 첫 번째 중요한 선택을 마쳤습니다.

그들은 오케스트레이션 레이어로 LangChain을 선택했습니다.

보통은 합리적인 선택입니다. 모델, 리트리버, 도구, 메모리, 워크플로우를 하나의 애플리케이션으로 연결하는 유연한 방법을 제공하기 때문입니다. LangChain이 자리를 잡으면 그다음 레이어가 더 중요해지는데, 이때 팀들은 포인트 툴과 더 넓은 프로덕션 스택 사이에서 고민하기 시작합니다.

Langfuse가 잘 맞는 경우

Langfuse는 LLM 앱의 관측 가능성(observability)을 원하는 팀들에게 이미 강력한 오픈소스 옵션입니다. 오픈소스이고, 셀프 호스팅을 지원하며, 추적, 프롬프트 관리, 데이터셋, 실험, 평가 워크플로우를 현대적인 LLM 앱 개발에 자연스럽게 녹여냅니다.

만약 LangChain 설정에서 더 나은 가시성, 깔끔한 프롬프트 워크플로우, 실험 추적, 그리고 추적 및 세션과 연동된 평가가 주로 필요하다면, Langfuse는 이미 그 스택의 상당 부분을 잘 해결해 줍니다.

많은 팀들이 Langfuse를 좋아하는 이유가 바로 이것입니다. 폐쇄적인 제품 모델을 강요하지 않으면서도 관측 레이어에 구조를 제공하기 때문입니다.

Future AGI가 더 제공하는 것

우리가 Future AGI에서 만든 것은 다른 가정에서 시작합니다.

우리는 LangChain이 이미 오케스트레이션을 처리하고 있다고 가정했습니다. 많은 팀들이 그 이후에 여전히 필요로 하는 것은 단순히 관측 레이어가 아니라 오케스트레이션 레이어를 둘러싼 프로덕션 시스템입니다. 그래서 우리가 오픈소스로 공개한 스택은 추적과 실험을 넘어 시뮬레이션, 평가, 보호, 게이트웨이 제어, 프롬프트 최적화, 그리고 이들을 연결하는 플랫폼 루프로 확장됩니다.

대부분의 프로덕션 팀은 가시성 확보에서 멈추지 않기 때문에 이것이 중요합니다. 그들은 패턴을 재현하고, 수정 사항을 테스트하고, 출력을 점수 매기고, 안전하지 않은 응답을 차단하고, 트래픽을 깔끔하게 라우팅하고, 배포 후에도 롤아웃을 계속 지켜보고 싶어 합니다.

플랫폼 구조

Future AGI는 6개의 플랫폼 레이어로 구성됩니다:

• Simulate: 텍스트 및 음성 워크플로우를 포함하여 페르소나, 적대적 입력, 엣지 케이스 전반에 걸친 다중 턴 테스트를 수행합니다.
• Evaluate: 근거성, 환각, 도구 사용 정확도, PII, 어조, 커스텀 루브릭 등 50개 이상의 지표를 제공합니다.
• Protect: 탈옥, 프롬프트 인젝션, 개인정보 보호, 정책 검사를 위한 18개의 내장 스캐너와 15개의 벤더 어댑터를 제공합니다.
• Monitor: LangChain을 포함한 50개 이상의 프레임워크에 걸친 OpenTelemetry 기반 추적과 지연 시간, 토큰 비용, 스팬 그래프, 대시보드를 제공합니다.
• Agent Command Center: 100개 이상의 제공업체, 라우팅 전략, 의미론적 캐싱, 가상 키, MCP, A2A 지원을 갖춘 OpenAI 호환 게이트웨이입니다.
• Optimize: 프로덕션 추적이 최적화 워크플로우로 피드백되는 GEPA 및 PromptWizard를 포함한 6개의 프롬프트 최적화 알고리즘을 제공합니다.