AI 에이전트의 진짜 진실

작년에 고객을 위해 25개 이상의 AI 에이전트를 프로덕션에 배포했습니다. 3주 차에 에이전트를 망치는 가장 큰 원인을 알려드립니다.

지난 14개월 동안 스타트업, 중견 SaaS, 심지어 헬스케어 기업을 위해 프로덕션용 AI 에이전트를 구축했습니다. 유튜브에서는 아무도 말하지 않는 패턴이 하나 있습니다.

LLM 선택도, 프레임워크도, 심지어 프롬프트도 아닙니다.

바로 메모리입니다.

모든 에이전트는 프로덕션 3주 차에 똑같은 벽에 부딪힙니다. 사용자는 에이전트가 어제의 맥락을 기억하길 기대하지만, 에이전트는 그렇지 못합니다. 대화는 처음부터 다시 시작되고, 결정은 다시 논쟁거리가 됩니다. 사용자는 신뢰를 잃고 도입률은 떨어집니다.

온라인에서 보는 대부분의 강의는 이 부분을 완전히 건너뜁니다. 주피터 노트북에서 챗봇을 시연하며 "프로덕션 준비 완료"라고 주장하지만, 프로세스가 재시작될 때 무슨 일이 일어나는지는 절대 언급하지 않습니다.

고객 사례 (일반화됨)

부동산 중개업체에서 부동산 설명 에이전트를 구축했습니다. 데모에서는 잘 작동했지만, 프로덕션에서는 재시작할 때마다 이미 설명한 매물을 다시 발견하고 설명을 재생성하여 불필요한 OpenAI 호출 비용으로 월 400달러를 낭비했습니다. 지속성 메모리를 추가하여 이미 설명된 매물을 건너뛰게 함으로써 비용을 80% 절감했습니다.

HR 팀을 위한 B2B SaaS에서 후보자 인터뷰 요약 에이전트를 구축했습니다. 고객이 "왜 에이전트가 이 후보자를 '고위험군'으로 분류했나요?"라고 계속 물었습니다. 원래 에이전트에는 감사 추적이 전혀 없었습니다. 결정 로깅과 메모리 스냅샷을 추가하여 이제 모든 추천을 감사할 수 있게 되었고, 마침내 엔터프라이즈에 배포할 수 있었습니다.

코딩 보조 SaaS를 운영하는 1인 개발자의 에이전트는 세션의 약 5%에서 무한 도구 호출 루프에 빠져 매달 2,000달러의 API 비용을 조용히 태우고 있었습니다. 알아차리는 데만 두 달이 걸렸습니다. 루프 감지와 자동 일시 중지로 해결했습니다.

프로덕션 에이전트를 위한 올바른 스택

충분히 배포해 본 결과, 대부분 잘 작동하는 스택으로 수렴했습니다:

LLM: Claude Sonnet 3.5 (대부분의 작업), GPT-4 (특정 도구 사용)

프레임워크: Pydantic AI 또는 LangChain (팀이 익숙한 것)

메모리 계층: Octopodas 또는 Mem (지속성, 루프 감지, 감사 추적을 한 번에 해결)

관측 가능성: Sentry (오류 추적), Langfuse (추적 검사)

평가: Promptfoo 또는 직접 만든 회귀 테스트 스위트

메모리 계층은 대부분의 팀이 건너뛰고 나중에 대가를 치르는 부분입니다. pgvector + Redis + 커스텀 감사 테이블을 직접 호스팅할 수도 있지만(저도 세 번 해봤습니다), 3~4주의 엔지니어링 시간이 낭비됩니다. 아니면 pip install octopoda를 사용하면 3줄 만에 작동합니다.

불편한 진실

병목 현상은 모델이 아닙니다. 메모리와 오케스트레이션입니다. "Claude vs GPT"가 중요한 결정이라고 말하는 사람은 프로덕션 에이전트를 배포해 본 적이 없는 사람입니다.

루프는 조용히 당신을 파산시킬 것입니다. 충돌이 아니라 조용한 루프입니다. 실패한 도구 호출을 200번 재시도하는 에이전트는 도구 호출 자체보다 비용이 더 많이 듭니다. 계측하지 않으면 대시보드에서 볼 수 없습니다.

B2B에서 감사 가능성은 선택 사항이 아닙니다. 엔터프라이즈 고객은 90일 이내에 "왜 당신의 AI가 X를 결정했나요?"라고 물을 것입니다. 결정을 재현할 수 없으면 계약을 잃게 됩니다.

메모리 ≠ 벡터 DB. Pinecone은 메모리 계층이 아닙니다. Pinecone은 벡터 인덱스일 뿐입니다. 메모리는 지속성, 회상, 충돌 해결, 감사, 스냅샷, 복구를 의미합니다. Pgvector만으로는 부족합니다.

"그냥 OpenAI의 Assistants API를 쓰세요"는 데모에는 효과적이지만, 규모가 커지면 깨지고 종속됩니다. 그러지 마세요.

실제로 배포하는 방법

직장이나 친구 회사에서 워크플로우 하나를 고르세요. 일반적인 것이 아니라 구체적인 것으로요. "AI를 통한 지원"이 아니라 "지원 티켓 자동 분류"처럼요.