연구용 AI 에이전트 구축 가이드

비슷한 작업에 단일 에이전트 방식을 써봤는데 상충하는 출처 때문에 완전히 실패했어. 결국 모든 주장을 수동으로 감사해야 했지. 네가 말한 파이프라인 방식이 생각보다 훨씬 잘 작동하더라.

이 노력을 들일 가치가 있는지 스스로에게 물어봐. 쓰레기 정보와 아닌 것을 어떻게 구분할 건데?

데이터베이스 비교 건이라면, 각 행이 어떤 질문에 답해야 하는지 결정하는 것부터 시작해서, 요약을 생성하기 전에 검색을 통해 그 행들을 증거로 채우게 할 것 같아. 각 주장에 출처 구절과 명시적인 '찾을 수 없음' 상태를 부여해. 페이지 로딩에 실패하면, 이미 찾은 내용은 보존하고 그 빈칸을 표시해 둬. 모델에게 기억에 의존해서 채우라고 하는 것보다 나아. 그렇게 하면 전체 답변에 대한 신뢰도 점수 하나를 매기는 대신, 불확실성에 대해 보고할 구체적인 근거가 생기지.

신뢰도 부분이 대부분의 이런 프로젝트가 무너지는 지점이야. 모델이 스스로 밝히는 신뢰도는 실제 정답 여부와 거의 상관이 없거든. 외부에서 점수를 매겨. 각 주장을 뒷받침하는 독립적인 출처가 몇 개인지 확인하고, 하나뿐이면 낮게 평가해.

단순히 '최고의 스타트업 관련 정보'를 비교하는 것만으로는 경쟁력이 없을 수도 있어. 학습 경험으로 삼는 게 아니라면 이 목적을 위한 에이전트 개발은 시기상조일 수 있지. 경쟁자가 누구라고 생각하는데? 그들은 자본과 복잡한 전략을 구사할 수단, 그리고 너와 같은 도구를 가진 자격 있는 전문가들일 수도 있어.

가장 중요한 건, 그건 '연구형' 질문이 아니라는 거야.

모든 걸 다 하는 에이전트 하나보다는 계획, 검색, 출처 필터링, 합성 단계를 분리한 워크플로우로 만들겠어.. 까다로운 부분은 페이지를 찾는 게 아니라 출처가 오래됐거나, 모순되거나, 똑같은 주장을 반복하는 걸 감지하는 거야... 각 주장에 원래 URL과 뒷받침하는 인용문을 붙여두고, 실패한 검색은 다른 쿼리로 재시도하고, 마지막 검증 단계에서 증거가 부족한 건 답변을 지어내는 대신 플래그를 세우도록 해... 신뢰도 점수에 너무 신경 쓰기 전에 알려진 정답과 일부러 망가뜨린 출처가 포함된 연구 질문 세트로 평가해 보는 것도 추천해.. 자신 있게 틀린 답변을 내놓는 것보다 명확하게 '확인할 수 없음'이라고 하는 게 훨씬 유용하니까.

에이전트가 상충하는 출처를 어떻게 처리하는지, 그리고 정보가 충분하지 않을 때를 어떻게 아는지에 집중해 봐. 그게 정말 중요하다고 생각해.

출처가 일치하는지 확인할 때 단순히 링크 개수만 세지 마. 다섯 개의 블로그가 똑같은 보도자료를 반복하는 건 사실상 하나의 출처니까, 각 주장을 처음 나온 곳까지 추적해 봐.