오픈소스 프로젝트가 OpenAI, Google, Microsoft, Amazon을 제치고 EnterpriseRAG-Bench 1위를 차지했습니다
An open-source project just ranked #1 on EnterpriseRAG-Bench, ahead of the listed systems from OpenAI, Google, Microsoft and Amazon
핵심 요약
PipesHub가 기업용 RAG 벤치마크에서 대기업 모델들을 제치고 1위를 기록하며 오픈소스의 저력을 보여주었습니다.
- 벤치마크 1위 — PipesHub가 EnterpriseRAG-Bench에서 종합 점수 93.24점, 정확도 95%로 1위를 달성함
- 기술적 특징 — 문서, 대화, 구조화된 데이터 및 코드를 아우르는 통합 컨텍스트 레이어를 구축함
- 오픈소스 지원 — 플랫폼은 오픈소스이며 자체 호스팅이 가능하고 다양한 오픈 모델을 지원함
- 확장성 제공 — MCP, API, SDK를 통해 개발자가 직접 에이전트를 연결하고 기능을 확장할 수 있음
FRAMES에서 18개 RAG 파이프라인이랑 우리 에이전트 루프 비교했던 글 기억하는 사람 있을 거다. 그때 최고 파이프라인 점수가 78.9%였는데, 우리 루프는 92.7% 찍었었지.
후속 소식 하나 전한다. PipesHub가 드디어 EnterpriseRAG-Bench 전체 점수 1위를 달성했다. 종합 점수 93.24점에 정확도는 95% 찍었음.
나도 창업자 중 한 명이니까 미리 밝혀둔다.
이번 평가는 좀 빡세게 진행했다. 50만 개가 넘는 합성 기업 데이터셋을 대상으로 질문 500개를 던져서 테스트했거든.
PipesHub는 문서, 대화, 정형 데이터, 코드를 아우르는 통합 컨텍스트 레이어를 구축한다. 에이전트 루프는 하이브리드 검색, grep/패턴 매칭, 지식 그래프 탐색, 문서 읽기 도구를 활용해서 돌아가고.
원리는 간단하다. 검색하고, 결과 읽고, 다음에 뭘 검색할지 결정하는 방식이지. 가끔 다음 검색에 필요한 식별자나 관계 정보가 첫 번째 결과에만 나올 때가 있거든.
우리 플랫폼은 오픈 소스고, 직접 호스팅도 가능하고, 오픈 모델도 완벽하게 지원한다.
직접 PipesHub 호스팅해서 원하는 모델 골라 쓰고, MCP나 API, SDK로 니들 에이전트 연결해서 쓰면 된다.
써보고 괜찮다 싶으면 GitHub에서 스타 좀 박아줘라. 그래야 다른 개발자들도 이 프로젝트를 더 많이 발견할 수 있으니까.
그리고 우리 거 위에다가 뭐든 만들어봐라. 코딩 어시스턴트 연결해도 되고, 사내 검색 툴을 만들어도 되고, 커넥터 기여를 하거나 우리가 생각지도 못한 워크플로우를 시도해 봐도 좋다. 니들이 뭘 만드는지, 또 어디서 버그가 터지는지 정말 궁금하다.
코드, 설정, 예제: https://github.com/pipeshub-ai/pipeshub-ai
리더보드: https://huggingface.co/spaces/onyx-dot-app/EnterpriseRAG-Bench-Leaderboard
테스트해주고, 기여해주고, 여기까지 올 수 있게 도와준 모든 사람한테 고맙다. 💙
