대부분의 멀티 에이전트 실패는 환각이 아니라 '상속된 가정' 때문이다

RAG 파이프라인에서 이 문제가 특히 교묘한 이유는 가정이 LLM이 아니라 리트리버에서 시작되는 경우가 많아서임. 처음에 잘못된 문서가 검색되면 생성 모델은 자기 추론이 이미 잘못된 전제에 고정됐다는 걸 알 방법이 없음. 'Ground truth' 검색 결과에서 나온 거라 가정이라고 느껴지지도 않거든. 가장 효과적이었던 해결책은 검색과 생성 사이에 가벼운 관련성 재순위화 단계를 추가하고 명시적인 신뢰도 점수를 매기는 거였음.

제가 실험한 신뢰도 점수는 '모델 신뢰도'에 직접 기반한 건 아니에요. 자기회귀 모델은 잘못된 전제 위에서도 자신 있게 일관성을 유지하니까요. 대신 생성 전에 컨텍스트 품질 자체를 점수 매기는 게 더 도움 됐어요: 검색 청크 간의 합의, 의미론적 중복 일관성, 모순 밀도, 소스 중복성, 검색된 컨텍스트가 독립적으로 같은 주장을 하는지 등이죠.

'상속된 가정(inherited assumptions)'이라는 표현 진짜 딱이네. 멀티 에이전트 파이프라인을 망치는 주범은 에이전트가 뻘짓하는 게 아니라, 두 단계 앞서 이미 틀려버린 전제를 바탕으로 에이전트가 아주 자신 있게 그럴듯한 행동을 하는 거임. 개별 에이전트만 하루 종일 스트레스 테스트해봤자 소용없는 게, 고립된 상태에서 보면 그 가정은 아무 문제 없어 보이거든.

정확해요. 반복적인 손실 압축이랑 비슷하게 작동하거든요. 추론을 거칠 때마다 컨텍스트의 '전반적인 형태'는 유지되지만, 작은 모호함이나 생략, 해석의 변화가 턴을 거듭하며 쌓이는 거죠. 개별적으로는 무해해 보이지만, 전파 레이어가 충분히 쌓이면 시스템은 원래 상태가 구조적으로 왜곡된 버전 위에서 자신 있게 추론하게 돼요. 로컬 일관성은 매 단계 유지되니까 퇴화가 더 교묘하게 느껴지죠.