Snapdragon X2 노트북에서의 RAG 성능: 20만 개 문서 처리
RAG on Snapdragon X2 Laptop, 200K documents.
핵심 요약
Snapdragon X2 노트북에서 VecML을 활용해 20만 개의 문서를 효율적으로 RAG 처리한 사례를 공유합니다.
- 휴대성 — 매우 가벼운 무게와 컴팩트한 전원 어댑터로 이동 중 작업에 최적화됨.
- NPU 성능 — RTX 5060 노트북 대비 50% 수준의 임베딩/인덱싱 속도를 조용한 환경에서 구현함.
- 대규모 RAG — 20만 개의 문서를 인덱싱하며 낮은 토큰 사용량과 메모리 효율성을 달성함.
- 통합 AI 데이터베이스 — 벡터, 그래프, 관계형 등 6가지 데이터베이스 기능을 하나로 통합하여 최적화함.
퀄컴이 최근 새로운 Snapdragon X2 노트북 칩셋을 출시했습니다. 저는 즉시 ASUS Zenbook A16 16인치 3K OLED 터치스크린 노트북(Snapdragon X2 Elite Extreme, 2026년형)을 주문했습니다.
이 기기에서 정말 마음에 드는 몇 가지 점은 다음과 같습니다:
-
극도로 가벼움.
최근 홍콩 공항에서 세관을 통과해 G46 게이트까지 이동하는 동안 한 손으로 들고 다니면서도 프로그램을 계속 실행했습니다. 마치 큰 휴대폰을 들고 있는 기분이었습니다. -
매우 휴대하기 좋은 전원 어댑터.
RTX 노트북에 필요한 무거운 전원 벽돌과 비교하면 어댑터가 훨씬 가볍습니다. 그럼에도 불구하고 소비 전력은 여전히 유나이티드 항공의 기내 충전 제한을 초과합니다. -
강력한 NPU 성능.
NPU가 제대로 활용될 때 성능이 좋습니다. 예를 들어, 임베딩/인덱싱 속도는 RTX 5060 노트북의 약 50%에 달하면서도 훨씬 가볍고 조용한 폼팩터에서 작동합니다.
첨부된 영상은 이 노트북에서 실행되는 VecML의 AI-PC 소프트웨어를 보여줍니다.
주요 특징:
• 대규모 문서 컬렉션: 약 20만 개의 파일 인덱싱 (이번 실행에서 약 10만 개 완료)
• 낮은 토큰 검색: 이번 실험에서 약 1200개의 검색 토큰만 사용
• 저메모리 RAG: 대부분의 데이터를 디스크로 오프로드하고 128개 샤드 활성 버퍼만 사용
• 온디바이스에서의 빠르고 정확한 RAG 성능
배후에서는 VecML의 올인원 AI 데이터베이스가 핵심적인 역할을 합니다.
엔터프라이즈급 AI 시스템은 일반적으로 여러 데이터베이스가 함께 작동해야 합니다:
• 벡터 데이터베이스
• 그래프 데이터베이스
• 관계형 데이터베이스
• 키-값 저장소
• 검색 데이터베이스
• 문서 데이터베이스
우리는 엔터프라이즈 AI 및 에이전트 시스템을 위해 이 6가지 시스템의 핵심 기능을 통합 아키텍처로 통합한 사내 AI 데이터베이스 플랫폼을 개발했습니다.
이를 통해 인덱싱, 검색, 그래프 탐색, 스토리지 및 메모리 관리 전반에 걸쳐 공동 최적화가 가능해졌으며, 클라우드와 AI-PC 환경 모두에서 낮은 토큰 사용량, 낮은 메모리 점유율, 빠르고 정확한 AI 시스템을 구현하는 데 도움을 줍니다.
여기서 보여드리는 데모는 Snapdragon X2 윈도우 노트북에서 실행됩니다. 저희 macOS AI-PC 소프트웨어는 현재 제어된 테스트를 위해 오픈되었습니다.
