r/langchain•5개월 전•3•8
LangGraph 루프용 사전 검사 게이트 구축: 첫 토큰 발생 전 차단으로 비용 절감
We built a preflight gate for LangGraph loops. blocks before the first token, not after the bill
핵심 요약
LangGraph 루프 실행 시 발생하는 비용 폭주를 방지하기 위해 첫 토큰 생성 전 차단하는 사전 검사 게이트를 구현함.
- 비용 제어 — LangGraph 루프 실행 중 발생하는 예상치 못한 비용 폭주를 사전 차단함.
- 사전 검사 게이트 — 첫 토큰 생성 전 실행을 차단하여 불필요한 비용 발생을 방지함.
- 이상 탐지 기능 — 노드 실행 비용이 과거 대비 급증할 경우 자동으로 이상 징후를 감지함.
- 체크포인트 활용 — 노드 내부에 삽입하여 실행 승인 여부를 결정하고 비용을 효율적으로 관리함.
LangGraph 루프는 비용 제어 측면에서 가장 까다로운 케이스입니다. 데코레이터가 진입점은 잘 감싸주지만, 조건부 엣지(conditional edges) 때문에 노드 전환 과정에서 비용이 걷잡을 수 없이 커질 수 있고, 이는 사후에야 확인할 수 있죠.
저희는 정확히 이 문제를 해결하기 위해 client.checkpoint()를 추가했습니다. 노드 내부에 삽입하기만 하면 됩니다:
def my_node(state):
check = client.checkpoint(agent_id="researcher", units_so_far=state['units_used'])
if not check.approved:
raise Exception(f"Mid-run blocked: {check.reason}")
return do_work(state)
읽기 전용 체크라 이중 과금은 없으며, remaining_units가 반환되므로 중단할지 아니면 우아하게 성능을 낮출지 결정할 수 있습니다.
v0.3 버전에는 단계별 이상 탐지 기능도 포함되었습니다. 노드 실행 비용이 과거 기준 대비 갑자기 3배 이상 증가하면 편차 %와 함께 anomaly: true를 반환합니다.
저장소는 댓글에 있습니다.
