개인용 리서치 에이전트를 한 단계 더 발전시키고 싶습니다

어떤 종류의 데이터 소스야? 정보가 정량적이야 아니면 정성적이야?

최근에 실험적인 프로젝트로 비슷한 걸 만들었어. 기술적인 리서치 보고서를 작성하고 독자들이 질문할 수 있게 만들고 싶었거든. 보고서에는 여러 출처가 인용되어 있고 지표가 많았지. 그래서 보고서의 모든 주장과 지표를 출처, 기간, 지표 공식, 주의사항 등과 함께 표로 정리해서 에이전트(Haiku)가 접근할 수 있게 했어. 이게 가능하게 해준 건...

이런 노력에는 검증 레이어를 추가하는 게 정말 중요하다고 생각해. 가장 시간이 많이 걸리는 단계지만, 생산성 측면에서 최고 수준을 유지하게 해주고 신뢰도와 믿음을 더해주거든. 정보 검색마다 신뢰도 임계값을 설정하고 피드백 루프나 평가 과정을 넣어봐.

다음 단계는 '이게 필요한 다른 사람들을 찾아서' 그들이 '프로젝트를 사용하게 만드는 것'이야.

"신뢰성"을 추구한다면, 네 리서치 에이전트가 소셜 미디어에서 허위 정보를 찾아내고, 엄격한 검증 과정을 거쳐 신뢰할 수 있다고 판단된 공신력 있는 자료들과 비교하게 만들어 봐.

그걸 바탕으로 사실 여부를 검증하는 데 활용할 수 있겠지.

아니면 기업 데이터를 분석해서 트레이딩 기회를 포착하는 신호로 써먹을 수도 있고.

솔직히 말해서, 새로운 기능을 잔뜩 추가하기 전에 지금 하는 걸 더 잘하게 만드는 게 좋을 것 같아.

소스 몇 개를 더 추가하고 정보 출처를 추적하게 만들어 봐. 두 소스의 내용이 다를 때 그냥 하나만 고르는 게 아니라 그걸 감지할 수 있으면 더 좋고.

그다음엔 리서치, 팩트 체크, 요약 등을 담당하는 에이전트를 따로 두는 거야. 그렇게 하면 에이전트가 어떻게 답을 도출했는지 알 수 있으니까 "신뢰성"이라는 목표가 실제로 유용해질 거야.

그게 잘 작동하면, 그다음엔 뭘 할 수 있을지 고민해보는 것도 재밌겠지…

이미 좋은 기반을 갖췄네. 다음 단계는 도구를 더 늘리는 게 아니라 신뢰를 쌓는 거야. 세 가지에 집중해 봐: 정보의 출처(provenance), 신뢰도 점수, 그리고 첫 번째 에이전트가 내놓은 답을 검증하는 두 번째 에이전트. 그다음엔 과거 결론에 대한 기억을 추가하고 새로운 데이터가 기존 결론과 충돌할 때 알림을 보내게 해. 그러면 단순한 데이터 수집 봇에서 훨씬 더 실제 리서치 어시스턴트에 가까운 무언가로 발전할 거야.

소스를 더 추가하기 전에, 20~30개 정도의 공시 자료를 가지고 평가 세트를 만들어 봐. 질문에 대한 답에 정확한 섹션이나 페이지 인용이 포함되도록 하는 거지. 답변의 정확도, 인용의 올바름, 그리고 증거가 없을 때 에이전트가 "문서에 없음"이라고 답하는지 추적해 봐. 그렇게 하면 새로운 도구가 신뢰성을 높여주는지, 아니면 단순히 검색 범위만 넓히는 건지 알 수 있을 거야.

그냥 두 번째 소형 모델을 써서 데이터베이스에 저장하기 전에 사실 관계를 한 번 더 확인하는 교차 검증 단계를 추가해 봐. 그러면 hallucination을 줄일 수 있어.

소스 늘리는 건 좀 미뤄둬. 소스 하나를 지켜보면서 업데이트를 저장하는 건 그냥 모니터링일 뿐이야. 네 시스템이 정확히 어떻게 돌아가는지는 모르겠지만, 새로운 정보가 들어왔을 때 기존 데이터와 어떻게 처리되는지에 먼저 집중하는 게 좋겠어.

만약 새로운 정보가 기존 노트와 충돌한다면, 뭐가 바뀌었는지 파악해서 노트를 업데이트해야 해. 그렇지 않으면 정보만 계속 쌓이고, 나중에 질문할 때마다 에이전트가 알아서 정리하게 만드는 꼴이 되거든.

나는 모니터링 도구가…

SEC 공시 자료를 다룰 거면 HTML은 거르고 바로 XBRL로 가라. 2019년 이후의 모든 10-K 보고서는 인라인 XBRL로 되어 있고, 이미 수치가 태깅된 companyfacts JSON 엔드포인트가 따로 있음. 덕분에 매년 바뀌는 공시 레이아웃 신경 쓸 필요도 없고, 페이지가 아니라 정확한 태그를 가리키는 인용이 가능해짐.