공유 메모리를 통해 서로 팩트체크하는 AI 에이전트 4개를 만들었습니다. 지식 베이스가 스스로 복구되더군요.
I built 4 AI agents that fact-check each other through shared memory. The knowledge base repaired itself.
핵심 요약
공유 메모리 기반의 4단계 검증 아키텍처를 통해 AI 에이전트가 스스로 지식 오류를 식별하고 수정하는 시스템을 구축했습니다.
- 다중 에이전트 구조 — 4개의 에이전트가 역할 분담을 통해 상호 검증을 수행함.
- 공유 메모리 활용 — 에이전트 간 직접 통신 없이 공유 메모리 레이어를 통해 데이터를 교환함.
- 자동 오류 수정 — 연구자가 생성한 오류를 검증자와 중재자가 식별하고 수정함.
- 모델 독립적 설계 — 특정 모델에 종속되지 않는 범용적인 검증 파이프라인을 구축함.
꽤 오랫동안 작업해왔는데, 제 프로젝트를 넘어 개념 자체가 흥미롭다고 생각해서 공유합니다.
제가 계속 부딪혔던 문제는 이겁니다: 에이전트를 배포하고 정보를 저장하게 해도, 그 정보가 실제로 맞는지 전혀 알 길이 없다는 거죠. 검증 레이어가 없거든요. 에이전트가 "답은 X야"라고 하면 앱은 그냥 X를 믿어버립니다. 만약 X가 환각(hallucination)이라면, 나중에 뭔가 고장 나기 전까지는 아무도 모르는 거죠.
그래서 에이전트들이 서로의 작업을 검증하는 시스템을 만들었습니다. 한 에이전트가 다 하는 게 아니라, 공유 메모리 레이어를 통해서만 통신할 수 있는 4개의 개별 에이전트가 각각 다른 역할을 맡는 방식이죠. 어떤 에이전트도 전체 그림을 보지 못합니다.
작동 방식은 이렇습니다:
설정:
에이전트 1은 연구자(GPT-4o)입니다. 태양계에 관한 10가지 사실 질문을 받고 그 답을 공유 메모리에 저장합니다. LLM은 환각을 일으키기 때문에 일부 답은 틀릴 텐데, 그게 핵심입니다.
에이전트 2는 검증자(Claude Haiku)입니다. 공유 메모리에서 연구자의 답을 읽고 하나하나 팩트체크합니다. 오류를 표시만 할 수 있고 수정은 못 합니다. 각 사실을 ACCURATE(정확) 또는 INACCURATE(부정확)로 표시하고 이유를 덧붙입니다.
에이전트 3은 중재자(GPT-4o)입니다. 검증자가 연구자와 의견이 갈린, 논쟁 중인 사실들만 봅니다. 양쪽을 검토하고 판결을 내립니다. 검증자가 맞았다면 수정된 사실을 공유 메모리에 다시 씁니다.
에이전트 4는 감사자(Claude Haiku)입니다. 수정 후 최종 지식 베이스 상태를 읽고 모든 사실의 정확도를 1~10점으로 점수를 매깁니다.
이 아키텍처가 중요한 이유:
핵심 제약은 어떤 에이전트도 전체 그림을 보지 못한다는 점입니다. 연구자는 자기가 뭘 틀렸는지 모릅니다. 검증자는 아무것도 고칠 수 없습니다. 중재자는 논쟁만 봅니다. 감사자는 최종 결과만 봅니다. 이들은 전적으로 공유 메모리 공간을 통해서만 통신합니다. 프로덕션 멀티 에이전트 시스템에서는 관심사 분리가 중요하기 때문입니다. 자기 작업을 직접 쓰고 검증까지 할 수 있는 에이전트는 검증의 목적을 무색하게 만듭니다.
