LangChain 에이전트 배포가 너무 힘들어서 직접 오픈소스 인프라를 만들었습니다

LangChain 에이전트를 로컬 개발 환경에서 프로덕션으로 옮길 때 저와 같은 벽에 부딪히는 분들이 있는지 궁금합니다. 로컬에서는 탄탄한 추론 루프가 잘 돌아가는데, Vercel이나 Lambda에 배포하는 순간 아키텍처가 에이전트와 충돌하기 시작하죠.

제 빌드 대부분은 복잡한 툴 호출 중에 30초 타임아웃으로 죽거나, 기본적인 상태와 대화 맥락을 유지하기 위해 Redis로 스택을 과하게 설계해야 했습니다. 작업의 80%가 프로세스가 잠들지 않게 하려고 DevOps 흉내를 내는 기분이었죠.

서버리스와의 사투에 지쳐서, 에이전트의 진정한 보금자리가 될 https://fleeks.ai/라는 실행 환경을 만들었습니다.

워크플로우는 간단합니다. 로컬에서 LangChain 스크립트를 만들고, 준비가 되면 CLI를 사용해 배포하면 됩니다. 서버리스 함수에 억지로 끼워 넣는 대신, 상시 가동되는 지속적인 컨테이너에 코드를 올리는 방식이죠.

이 솔루션이 해결하는 몇 가지는 다음과 같습니다:

항상 깨어 있습니다. 콜드 스타트나 타임아웃 걱정 없이 무거운 툴 호출, 백그라운드 루프, 장시간 폴링을 24/7 실행할 수 있습니다. 메모리는 볼륨 기반으로 네이티브하게 지원되므로 세션 맥락을 위해 외부 DB를 따로 돌릴 필요가 없습니다.

통합 작업도 처리합니다. 270개 이상의 MCP가 미리 구성되어 있고, 슬랙/왓츠앱 훅과 웹소켓 라우팅도 기본으로 제공합니다. 보일러플레이트 작성은 멈추고 에이전트 로직에만 집중하면 됩니다.

로컬에서 로직이 작동한다면, 24/7 자율 워커로 배포할 수 있습니다. 표준 클라우드 제약 조건 때문에 인프라가 무너질 걱정 없이 클라이언트에게 신뢰할 수 있는 빌드를 전달하기 훨씬 쉬워집니다.

현재 무료로 사용해 볼 수 있는데, 사실 여러분이 이 문제를 어떻게 해결하고 있는지 궁금합니다. 여전히 에이전트를 위해 서버리스 제한과 싸우고 계신가요, 아니면 상시 가동형 박스로 옮기셨나요?

직접 써보고 기술적인 반박이나 피드백을 주셔도 좋습니다.