다들 LLM 관측성(observability) 도구 뭐 쓰시나요?
What's everyone actually using for LLM observability right now?
핵심 요약
LLM 관측성 도구의 정착을 위해 현재 실무에서 사용 중인 스택과 경험을 공유하고 추천을 구하는 글.
- 관측성 도구 고민 — 18개월 동안 4번이나 도구를 바꿨지만 완벽한 스택을 찾지 못해 실무 스택을 공유함.
- 현재 사용 스택 — Langfuse, git 기반 프롬프트 관리, ragas 평가, Opsgenie 알림을 조합해 사용 중.
- 자동화의 갈증 — 프롬프트 버전 변경과 평가 점수 하락을 자동으로 연동해 주는 도구를 찾고 있음.
- 실무적 조언 요청 — 마케팅 문구가 아닌 실제 운영 환경에서 사용하는 도구와 그 이유를 공유받고 싶어 함.
몇 달마다 똑같은 굴레에 빠집니다. 에이전트가 로컬에서는 재현되지 않는 방식으로 고장 나면, 현재 쓰고 있는 관측성 도구를 열어 한참을 들여다보다가, 결국 마지막에 시도했던 도구가 더 나았을 거라는 생각만 하게 되죠.
18개월 동안 도구 4개를 갈아치웠는데, 이제는 완벽한 스택 같은 건 없고 그저 어떤 트레이드오프를 감수할지가 문제라는 생각이 듭니다. 그래서 마케팅 사이트에 적힌 내용 말고, 밤 11시에 뭔가 터졌을 때 여러분의 운영 환경에서 실제로 돌아가고 있는 스택이 뭔지 궁금합니다.
참고로 제 스택은 이렇습니다. 트레이스는 EC2 하나에 직접 호스팅한 Langfuse로 보냅니다. 임의의 OTel 스팬을 받을 수 있어서 에이전트 프레임워크를 다시 짤 필요가 없었거든요. 프롬프트는 솔직히 아직 git에 있습니다. 프롬프트 관리 도구 두 개를 써봤는데 둘 다 저랑 안 맞더라고요. 평가는 ragas에 우리 도메인용 커스텀 저지를 섞어서 씁니다. 모든 운영 트레이스에 좋은 저지를 돌리면 비용 때문에 감당이 안 돼서 gpt-4o-mini를 씁니다. 알림은 비용 대시보드에서 웹훅을 받아 Opsgenie로 보냅니다. 투박하지만 잘 작동해요. 아직 못 찾았고 꼭 필요한 건, 제가 일일이 태깅하지 않아도 프롬프트 버전 변경과 평가 점수 하락을 자동으로 연동해 주는 도구입니다.
여러분은 뭘 쓰시나요? 그리고 왜 그걸 선택하셨나요? 마지막에 쓰던 도구에서 왜 갈아탔는지, 현재 설정에서 여전히 짜증 나는 점은 뭔지, 그리고 처음부터 다시 시작한다면 뭘 바꿀지 궁금합니다.
