수백 개의 리소스를 읽고 중요한 정보만 전달하는 AI 에이전트 구축기
We built an AI agent that reads hundreds of resources and sends you only what actually matters — here's how it works under the hood
핵심 요약
수많은 기술 뉴스 속에서 사용자에게 필요한 정보만 선별해 뉴스레터로 제공하는 AI 에이전트 파이프라인 구축 사례.
- 파이프라인 설계 — 스크래핑부터 LLM 검증, 뉴스레터 컴파일까지의 단계별 프로세스 구축함.
- 비용 효율성 — 임베딩 유사도와 LLM 검증을 결합한 2단계 필터링으로 추론 비용을 최적화함.
- 기술 스택 — LangGraph, Qdrant, FastAPI 등 현대적인 도구들을 활용해 에이전트 시스템을 구현함.
- 사용자 피드백 — 지속적인 학습을 통해 추천 품질을 개선하는 피드백 루프를 포함함.
솔직히 말해서, 최신 기술 뉴스, AI 모델, 논문을 따라가는 것은 매일 점점 더 어려워지고 있고 소음의 양은 끔찍할 정도입니다. 매주 몇 시간씩 조사해도, 실제로 건질 만한 내용은 거의 없습니다.
Software Mansion에서는 한동안 내부 AI 에이전트를 운영해 왔습니다. 하나는 마케팅 기회를 찾기 위해 플랫폼을 스캔하고, 다른 하나는 연구팀이 최신 AI 모델과 논문을 파악하도록 돕습니다. 둘 다 잘 작동하지만, 이를 구축하면서 이전에는 미처 깨닫지 못했던 실제 문제를 발견했습니다.
우리가 만든 것
핵심 통찰: 소음을 방지하려면 관련성 검증이 개별 수준에서 이루어져야 합니다. 그래서 우리는 그 점을 중심으로 구축했습니다.
파이프라인은 다음과 같습니다:
- 스크래핑 — HuggingFace, arXiv, Github, Reddit, HN, SubStack (계속 확장 중…) - 모두 정기적으로 스크래핑되어 텍스트와 임베딩으로 저장됨
- 추천 — 각 사용자의 특정 사용 사례에 따른 하이브리드 추천. 주로 LLM을 판사로 사용하는 임베딩 유사도 방식이지만, 추가적인 웹 검색, 카테고리 검색, 그리고 협업 필터링과 같은 고전적인 접근 방식도 준비 중임.
- 뉴스레터 컴파일 — 추천 결과를 바탕으로 에이전트가 주요 요점, 요약, 원본 리소스 URL이 포함된 다이제스트로 컴파일함. 모든 내용은 정기적으로 사용자의 메일함으로 전송됨.
- 사용자 피드백 — 에이전트의 추천을 시간이 지남에 따라 더 좋게 만들기 위한 모든 과정.
2단계 접근 방식(임베딩 유사도와 LLM 검증)은 추론 비용을 합리적으로 유지하는 데 핵심이었습니다. 스크래핑된 모든 항목에 대해 모든 사용자를 대상으로 LLM을 실행하는 것은 확장성이 없습니다. 미리 필터링된 후보군에 대해 실행하는 것이 효율적입니다.
기술 스택
- Python
- LangGraph (오케스트레이션용)
- Qdrant (벡터 데이터베이스)
- FastAPI (백엔드)
- Next.js (프론트엔드)
- PostgreSQL (데이터베이스)
- Taskiq + Redis (워크플로우 스케줄링)
이 시스템은 에이전트 AI와 고전적인 추천 시스템의 경계에 위치하고 있어 아키텍처적으로 매우 흥미롭습니다. 이에 대해 어떻게 생각하시나요? 어떤 피드백이든 대단히 감사합니다.
