18개의 RAG 파이프라인과 에이전트 루프를 Google FRAMES에서 벤치마크했습니다. 최고 파이프라인은 78.9%, 에이전트 루프는 92.7%를 기록했습니다.

그 퍼센트가 뭘 의미하는 거야? 보통 검색 품질을 테스트할 때는 mrr@k나 precision@k를 측정하잖아.

리랭커에 대한 결론은 완전히 틀렸어. 리랭커는 항목 순위를 올려서 @1 정밀도를 개선하는 거지, 후보 검색 품질 자체에 영향을 주는 게 아니야.

실제 답변과 생성 부분은 보통 LLM을 평가자로 써서 테스트하고 평가하지.

또한 RAG가 나쁘다는 걸 보여주려고 RAG가 설계되지 않은 태스크에서 테스트하는 것도 의문이야. 사람들은 LLM을 어디에나 넣으려 하지만, 요즘 졸업생들은 리랭커가 뭔지도 모르는 경우가 태반이지.

타당한 지적이야. 짧은 글에 명확히 설명하지 못한 내 잘못도 있지.

그 퍼센트는 검색 지표가 아니라 엔드투엔드 답변 정확도야. 모든 답변은 LLM-as-judge 방식으로 채점했어. Claude(Sonnet 5)가 FRAMES 논문의 채점 프롬프트를 그대로 사용해서 채점했고, Gemini가 독립적인 두 번째 평가자로 참여했지. 둘의 일치도는 Cohen's κ 0.93~0.98로 매우 높았어. 게다가 모델이 학습된 기억으로 답변한 걸 잡아내려고, 시스템이 실제로 본 텍스트와 정답을 대조했지.

검색 자체도 따로 측정했어. 골드 아티클 재현율, 필요한 모든 기사가 모델에 도달했는지 여부, 그리고 전체 결과에서의 recall@k를 측정했지. MRR과 precision@k가 순위 자체를 보고하는 표준 방식이라는 건 네 말이 맞아. 추가해둘게.

리랭커에 대해서는 네 설명에 동의해. 내 글이 너무 압축적이었어. 리랭커는 후보군을 재정렬해서 리스트 상단의 정밀도를 높여야 하지. 우리가 본 건 "리랭커는 나쁘다"보다 더 좁은 의미야:

• 파이프라인이 100개의 후보를 검색해서 리랭크하고 50개를 남겼어. 재현율은 거의 변하지 않았어(리랭커가 있을 때 골드 아티클의 90.3%가 모델에 도달했고, 없을 때는 90.1%였음). 즉 리랭커가 검색을 방해하진 않았어.

• 바뀐 건 어떤 구절이 선택되었느냐야. 멀티홉 질문에서는 연결 고리가 되는 사실을 담은 구절이 원래 질문과 닮지 않은 경우가 많아서, 질문과 비교해 점수를 매기는 크로스 인코더는 낮은 순위를 주게 돼.

• 엔드투엔드 정확도는 작은 모델(MiniLM)을 썼을 때 8.7%p 떨어졌어. 강력한 모델(bge-reranker-v2-m3)을 썼을 때는 리랭커가 없을 때보다 2.1%p 높았는데, 이건 통계적으로 유의미하지 않아.

결론적으로 원래 질문하고만 비교하는 건 멀티홉 검색에 방해가 될 수 있다는 거야. 리랭커는 원래 설계된 목적대로라면 여전히 도움이 돼.

잘못된 태스크에서 RAG를 테스트했다는 점에 대해서는, 그게 바로 우리가 답하고 싶었던 질문이야. FRAMES는 의도적으로 멀티홉으로 설계됐어. 싱글샷 RAG는 두 번째 검색이 첫 번째 답변에 의존하는 질문을 위해 만들어진 게 아니고, 우리 수치도 그걸 뒷받침해. 문제는 챗봇을 만드는 사람들은 선택권이 없다는 거야. 사용자는 같은 창에 두 종류의 질문을 다 던지거든. 단순한 질문에서는 파이프라인들이 잘 작동했어. 질문이 더 많은 문서를 필요로 할수록 격차가 벌어지는 거지.

루프도 여전히 RAG야, 검색도 하니까. 진짜 비교는 한 번 검색하는 것과 읽은 후에 다시 검색하는 것을 비교하는 거지.

LLM 생성에 top50을 다 집어넣는 건 너무 많지 않아? 보통 top5나 top10을 쓰잖아. 안 그러면 노이즈로 컨텍스트를 채우는 꼴인데.

멀티홉 질문에 대해서는, 그냥 에이전트한테 RAG 검색 도구를 주고 알아서 하게 하면 안 돼? 여기서 네 에이전트 루프의 이점이 뭐야?

하품 나오네

맞아, 이런 거 테스트할 때마다 다들 예상하는 결과지