당신의 AI가 '멍청한' 이유 (그리고 내 AI는 아닌 이유): 컨텍스트 엔지니어링 마스터클래스

시스템에 다음 5가지 기억 계층을 구축해라:

• 작업 기억(Working memory) — 현재 진행 중인 작업 처리, 초 단위에서 분 단위로 유지
• 단기 기억(Short-term memory) — 현재 세션의 연속성 유지
• 장기 기억(Long-term memory) — 사용자 선호도를 영구적으로 저장
• 일화 기억(Episodic memory) — "지난번에 X 물어봤을 때 Y로 해결했지" 같은 경험 저장
• 의미 기억(Semantic memory) — 사실, 개념, 개체 간의 관계 저장

꿀팁: 오래된 대화는 구조화된 요약본으로 압축해라. 토큰 낭비 없이 연속성을 유지할 수 있다. AI는 모든 대화 기록을 다 들고 다니지 않아도 중요한 건 다 기억한다.

4. 멀티 에이전트 컨텍스트 공유 (이게 핵심 비기)

AI 에이전트 하나만 쓰면 한계가 명확하다. 전문화된 여러 에이전트가 통합 시스템을 통해 컨텍스트를 공유하게 만들면? 거기서부터 진짜 마법이 시작된다.

컨덕터 패턴을 써라: 관리자 에이전트가 각자 맡은 역할에 특화된 에이전트들을 지휘하는 방식이다. 리서치 에이전트는 정보를 찾고, 분석 에이전트는 패턴을 해석하고, 라이터 에이전트는 초안을 쓰고, 리뷰 에이전트는 품질과 규정 준수 여부를 확인한다. 각자 자기 분야에서 끝판왕급 실력을 보여주는 거다.

성패를 가르는 건 '핸드오프(handoff)'다. 에이전트끼리 작업을 넘길 때는 반드시 다음 내용을 포함해야 한다. 뭘 끝냈는지, 핵심 발견 사항은 뭔지, 아직 안 풀린 숙제는 뭔지, 결과에 대한 확신 수준은 어느 정도인지, 그리고 다음 에이전트가 뭘 해야 하는지 명확하게 짚어줘야 한다.

모든 에이전트가 접근할 수 있는 공유 메모리 공간을 만들어라. 현재 상태를 보여주는 프로젝트 보드, 엔티티 관계를 매핑한 지식 그래프, 과거 결정의 이유를 담은 의사결정 로그, 그리고 이전에 뭐가 잘못됐는지 기록하는 에러 레지스트리 같은 것들이다. 이렇게 하면 개판 오분 전인 단톡방이 하나의 지능형 유기체처럼 움직이는 조직으로 바뀐다.

5. RCTC 프레임워크 (문장이 아니라 로직을 써라)

'창의적인 프롬프트'니 뭐니 하는 신비주의 공식은 다 집어치워라. 진짜 전문가들은 예쁜 문장이 아니라 구조화된 로직을 짠다.

Role(역할): AI가 누구인지 정의해라. 예: "너는 15년 차 경력의 시니어 M&A 애널리스트야."

Context(맥락): 관련 배경 정보를 줘라. 예: "X사 인수 평가 중, 위험 감수 성향은 중간, 이사회 보고용 결과물이 필요함."

Task(과제): 뭘 해야 할지 정확히 짚어줘라. 예: "가치 평가, 핵심 리스크, 권장 거래 구조를 제시해."

Constraints(제약): 확실한 선을 그어라. 예: "500단어 이내로 작성할 것. 특정 항목을 인용할 것. 모든 가정은 명시적으로 표시할 것."

이 프레임워크가 먹히는 이유는 모호함을 싹 다 없애기 때문이다. AI가 자기가 누군지, 뭘 아는지, 뭘 해야 하는지, 어디까지 하면 안 되는지 정확히 알게 된다. 추측할 필요도 없고, 결과가 들쭉날쭉할 일도 없다.

고급 팁: 실무 시스템에서는 프롬프트를 구조화된 JSON으로 작성해라. 그러면 매번 예측 가능하고 파싱하기 쉬운 결과물을 얻을 수 있다. AI가 제발 내 포맷대로 출력해주길 기도할 필요가 없다는 소리다.

6. 압축 못 하면 망한다

컨텍스트 윈도우는 비싸다. 토큰 하나하나가 다 돈이다. 똑똑한 압축은 선택이 아니라 생존이다.

오래된 문서는 원본 그대로 넣지 말고 요약해라. 토큰 사용량을 60~80% 줄이면서도 핵심 정보는 다 챙길 수 있다.

선택적 로딩을 써라. 문서 전체를 다 긁어오지 말고, 지금 질문에 필요한 부분만 뽑아 써라.

시간적 필터링을 적용해라. 옛날 데이터보다 최근 데이터를 우선순위에 둬라. 작년 일보다 지난주 일이 훨씬 중요한 법이다.

공통 컨텍스트는 캐싱해라. 매번 똑같은 사용자 프로필이나 회사 정책을 불러오고 있다면 그냥 캐싱해라. 바뀌지도 않은 걸 다시 처리하느라 돈 쓰지 마라.

진짜 중요한 지표는 이거다: 요청당 비용이 아니라 작업 완료당 비용이다. 문제를 확실히 해결하는 조금 비싼 요청이, 실패해서 3번씩 다시 돌려야 하는 싼 요청보다 훨씬 싸게 먹힌다.

7. 직업이 걸린 것처럼 테스트해라 (진짜 걸려 있다)

대부분은 AI 시스템 배포하고 그냥 손 털어버린다. 그러다 실무에서 쪽팔리는 사고 터지는 거다.

LLM-as-a-Judge를 써라. 더 똑똑한 모델을 시켜서 우리 시스템의 결과물을 정확성, 완성도, 형식 준수, 톤앤매너 일관성 기준으로 점수 매기게 해라. 사람이 검토하는 것보다 싸게 먹히고, 사람이 놓치는 문제도 다 잡아낸다.

이 지표들을 트래킹 안 하면 눈 감고 운전하는 거나 다름없다:

• 컨텍스트 관련성 점수 — 입력한 컨텍스트 중 실제로 응답에 쓰인 비율은 얼마나 되는가? 낮다면 쓸데없는 데이터에 토큰 낭비하고 있는 거다.
• 환각(Hallucination) 비율 — 제공된 컨텍스트로 뒷받침되지 않는 주장이 얼마나 되는가? 이건 0에 수렴해야 한다.
• 작업 완료율 — 사용자가 원하는 걸 얻어가는가, 아니면 답답해서 사람 상담원 찾으러 나가는가?
• 사용자 만족도 — 직접적인 평점, 좋아요/싫어요, 피드백 신호들.
• 작업당 비용 — 총 지출을 성공적으로 완료된 작업 수로 나눈 값.

컨텍스트 변경에 대해 A/B 테스트를 돌려봐. 전후를 확실히 측정하라고. 개선된 걸 수치로 증명 못 하면, 그건 그냥 아무것도 안 한 거나 다름없어.

진짜 중요한 규칙들

1. 좁게 시작해. 딱 하나의 유즈케이스, 3~5개의 데이터 소스만 잡고 완벽하게 끝낸 다음에 확장해. 첫날부터 모든 걸 다 하는 만능 기계를 만들려고 하지 마.

2. 완벽함보다 최신성이 중요해. 방대한 양의 낡은 데이터 덤프보다는 지금 당장 쓸 수 있는 최신 데이터가 무조건 이겨. 쓸모없고 오래된 문서로 컨텍스트 윈도우를 꽉 채우는 것보다, 관련성 높은 최신 컨텍스트를 조금 넣는 게 훨씬 낫다.

3. 툴 연동이 더 큰 모델보다 낫다. 제대로 된 툴을 갖춘 GPT-4가 아무것도 없는 GPT-5를 그냥 압살해. 컨텍스트 엔지니어링이 잘 된 작은 모델이, 컨텍스트가 엉망인 큰 모델을 제대로 망신 줄 수 있어.

4. 폴백(fallback)을 확실하게 설계해. 컨텍스트 검색이 실패하면 시스템이 당당하게 틀린 답을 지어내지 말고, "정보가 부족합니다"라고 말하게 만들어야 해. 이 동작은 처음부터 시스템에 박아놔.

5. 컨텍스트 스키마도 버전 관리를 해. 코드 버전 관리하듯이 컨텍스트 구조랑 검색 로직도 버전 관리를 해야 해. 오늘 잘 돌아가는 게 다음 모델 업데이트 때 바로 터질 수 있거든. 대비해 둬.

6. 컨텍스트 드리프트를 모니터링해. 컨텍스트 소스랑 결과값 사이의 관계는 시간이 지나면 계속 변해. 데이터는 썩고, 사용자 니즈는 바뀌고, 비즈니스 규칙도 달라지거든. 주기적으로 점검 안 하면 시스템이 서서히 맛가는 걸 구경하게 될 거야.

앞으로의 방향 (2026년 이후)

자율적인 컨텍스트 관리가 빠르게 다가오고 있어. 조만간 AI 시스템이 스스로 메모리를 관리하게 될 거야. 사람이 일일이 간섭하지 않아도 뭘 기억하고, 뭘 가져오고, 뭘 압축할지 스스로 결정하는 거지.

교차 모달 컨텍스트가 표준이 될 거야. 이제 컨텍스트는 텍스트에만 국한되지 않아. 의사가 엑스레이를 보여주면서 증상을 설명하고 환자 기록을 참조하면, AI가 이 모든 걸 하나의 일관된 그림으로 처리하는 통합 컨텍스트 레이어를 거치게 될 거야.

지속 가능한 조직 메모리는 직원이 바뀌어도 기업의 노하우를 그대로 보존해 줄 거야. 기업들은 단순히 문서뿐만 아니라 관계, 의사결정, 암묵지, 그리고 과거 선택의 '이유'까지 담아내는 AI 접근 가능한 지식 그래프를 유지하게 될 거야.

**Context-as-a-Service(서비스형 컨텍스트)**가 시장에 나올 거야. 서드파티 제공업체들이 시장 데이터, 법률 업데이트, 경쟁사 정보 같은 큐레이션 된 실시간 컨텍스트 피드를 팔 거고, AI 시스템은 별도의 연동 작업 없이 바로 이걸 꽂아서 쓰게 될 거야.

규제된 컨텍스트 프레임워크가 많은 산업에서 의무화될 거야. 내장된 감사 추적, 편향 탐지, 개인정보 보호 제어는 나중에 덧붙이는 게 아니라, 모든 실무용 AI 시스템의 핵심 요구사항이 될 거야.

AI의 지능은 네가 넣어주는 컨텍스트 수준에서 결정돼. 문장 다듬는 짓은 그만하고, 정보 구조를 설계해.

2026년에 AI로 돈 버는 기업들은 프롬프트 잘 짜는 애들이 아니야. 적재적소에 필요한 정보를 기억하고, 가져오고, 추론할 수 있는 시스템을 만든 애들이지.

뇌를 만들어. 답은 알아서 따라올 거야.

간단한 FAQ

Q: 프롬프트 엔지니어링이랑 컨텍스트 엔지니어링의 진짜 차이가 뭐야?

A: 프롬프트 엔지니어링은 더 좋은 질문을 던지는 거야. 컨텍스트 엔지니어링은 데이터 소스, 메모리 시스템, 동적 검색을 활용해서 AI에게 더 좋은 뇌를 만들어주는 거고. 하나는 문장을 최적화하는 거고, 다른 하나는 정보 생태계를 설계하는 거야.

Q: 이거 하려면 프로그래머여야 해?

A: n8n이나 LangFlow 같은 노코드 툴로 시작할 수는 있어. 하지만 실무 수준의 컨텍스트 엔지니어링을 하려면 데이터 파이프라인, API 연동, 시스템 아키텍처를 다룰 줄 아는 코딩 실력이 필요해. 일단 간단하게 시작하고, 필요할 때마다 실력을 키워나가.

Q: 지금 컨텍스트 엔지니어링에 제일 좋은 툴이 뭐야?

A: 오케스트레이션에는 LangChain이랑 LangGraph, 벡터 검색에는 Pinecone이나 Weaviate, 표준화된 데이터 접근에는 MCP, 평가랑 관측에는 LangSmith나 Maxim을 써.

Q: 이걸로 비용을 얼마나 줄일 수 있는데?

A: 스마트 검색과 압축을 쓰면 토큰 사용량이 보통 30~60%는 줄어드니까 API 비용도 바로 아낄 수 있어. 근데 진짜 이득은 품질이야. 헛소리한 거 수정하고, 다시 돌리고, 사고 수습하는 데 드는 비용이 확 줄어들거든.

Q: 환각 현상은 어떻게 줄어드는 거야?

A: 모델이 학습한 기억에만 의존하는 게 아니라, 검색해서 검증된 데이터를 기반으로 답변을 만들기 때문이지. AI가 네가 준 자료만 인용하게 만들면 지어낼 수가 없거든. 근거 없는 소리는 확 줄어들어.

Q: 어디서부터 시작해야 해?

A: 딱 하나만 골라봐. 그 용도에 진짜 도움 될 만한 핵심 데이터 소스 3~5개 정도 추리고. 일단 기본적인 RAG 검색부터 구현해. 그러고 나서 지금 쓰고 있는 정적 프롬프트랑 결과물 품질 비교해 보고. 거기서부터 계속 다듬어 나가는 거야. 완벽하게 하려 하지 말고 일단 끝내는 게 중요해.

글쓴이한테 그렇게 말한 거 잘했네.

이 댓글은 AI가 만든 거야, 아니면 AI를 활용해서 만든 거야?

뭐, 그저 그렇네. 사람들은 유튜브에서 'agentic os'나 로컬 에이전트 구현 영상이나 찾아보는 게 나음. 아이러니하게도, 이 글을 쓴 프롬프트 자체가 더 유용하고 정확한 결과를 뽑아내기엔 한참 부족했던 것 같음.