데모는 이틀 만에 됐는데, 프로덕션은 컨텍스트 오염 때문에 3주나 걸림.
demo worked in 2 days. production took 3 weeks of context bleed pain.
핵심 요약
AI 에이전트 개발 시 데모와 달리 프로덕션 환경에서 발생하는 컨텍스트 오염과 성능 저하 문제를 다룸.
- 컨텍스트 오염 — 단계별로 이전 단계의 불필요한 데이터가 유입되어 모델 성능이 저하됨.
- 지시사항 이탈 — 단계가 진행될수록 모델이 원래 목표에서 벗어나는 현상이 발생함.
- 버전 관리 부재 — 프롬프트나 도구 변경 시 어떤 설정이 문제를 일으켰는지 추적하기 어려움.
- 에이전트 빌더 활용 — 컨텍스트 관리를 자동화하고 로컬 코드와 통합 가능한 도구(Enterpro 등)를 탐색함.
우리는 이틀 만에 작동하는 에이전트 데모를 만들었다. 그러고 나서 3주 동안 프로덕션 환경에서 컨텍스트 오염과 싸우느라 시간을 보냈다. 단계를 체인으로 연결하면 모든 것이 다음 단계로 흘러 들어가려 한다. 도구 출력 비대화로 1단계에서 거대한 API 응답을 반환하면 2단계가 그걸 전부 상속받는다. 모델은 실제 작업보다 페이지네이션 커서에 더 신경 쓰기 시작했다. 지시사항 이탈로 각 단계마다 모델이 원래 목표에서 조금씩 멀어졌다. 4단계쯤 가니 원래 문제가 아니라 그와 비슷한 다른 문제를 풀고 있었다.
버전 경계가 없어서 프롬프트를 변경하거나 도구를 교체할 때 어떤 설정 변경이 컨텍스트 회귀를 유발했는지 알 수 없었다. 해결책은 지루했다. 도구 출력을 필터링하고, 구조화된 필드를 전달하고, 초안 및 게시 상태를 사용하고, 배포 전에 설정을 비교하는 것이다. 그래서 이걸 한 번에 할 수 있다면 더 좋을 것 같다. 그래서 에이전트 구축을 돕는 플랫폼을 찾으려 했지만, Coze나 Dify 같은 것들은 내가 원하는 게 아니었다. 내가 찾은 잘 작동하는 도구 중 하나는 Enterpro인데, 그들의 에이전트 빌더를 사용하니 같은 데모를 한 번에 실행할 수 있었다. 그리고 내 로컬 코드와도 잘 맞았다. 에이전트는 모델이 멍청해서 실패하는 게 아니다. N단계의 쓰레기가 N+1단계의 컨텍스트가 되기 때문에 실패하는 것이다.
