AI 코딩 입력 토큰의 22~71%가 중복입니다 (2200만 개 데이터 분석, arXiv 논문 2편). Cursor용 MCP 지원을 출시했습니다.
22-71% of your AI coding input tokens are duplicates, we measured it across 22M passages (2 arXiv papers). Just shipped MCP support for Cursor
핵심 요약
AI 코딩 시 발생하는 토큰 중복 문제를 해결하고 비용을 절감해 주는 Cursor용 MCP 도구 'Merlin'을 소개합니다.
- 토큰 중복 문제 — 에이전트 루프와 RAG 워크플로우에서 최대 71%의 입력 토큰이 중복됨.
- Merlin MCP 도구 — 모델에 도달하기 전 중복된 청크를 가로채어 토큰 비용을 절감함.
- Cursor 지원 출시 — v0.1.3 버전부터 stdio JSON-RPC를 통해 간편하게 설치 및 사용 가능.
- 사용 제한 및 정책 — 커뮤니티 버전은 일일/월간 사용량 제한이 있으며, 텔레메트리 데이터 수집을 전혀 하지 않음.
먼저 밝히자면, 제가 개발자입니다. MIT 라이선스이며 로컬에서 실행되고 텔레메트리는 전혀 없습니다.
발견한 사실:
실제 에이전트 세션과 RAG 파이프라인에서 2200만 개의 LLM 컨텍스트 패스지를 분석하여 청크 단위의 중복성을 측정했습니다:
~22% 중복 (일반적인 에이전트 루프 — 파일 내용 재인용, 시스템 프롬프트 재전송, 턴마다 반복되는 도구 결과)
최대 71% 중복 (RAG 중심 워크플로우 — 연속적인 쿼리에서 벡터 검색된 청크가 대량으로 겹침)
논문 및 데이터셋:
arXiv:2605.09611 — 아키텍처
arXiv:2605.09990 — 경험적 분석 (2200만 패스지 측정)
Zenodo DOI: 10.5281/zenodo.20090991
Cursor 요금이 코드베이스보다 빠르게 증가하는 이유:
모든 중복 청크는 비용이 청구되는 입력 토큰입니다. Anthropic의 프롬프트 캐싱은 접두사가 안정적일 때는 도움이 되지만, 컨텍스트의 뒷부분이 변경되는 순간(도구 결과, 에이전트 추론, 파일 차이점 등) 반복되는 부분마다 전체 입력 비용이 발생합니다.
Merlin은 콘텐츠가 모델에 도달하기 전에 청크 단위의 반복을 가로채는 작은 MCP 서버입니다. 표준 stdio JSON-RPC를 사용하며 세 가지 MCP 도구(merlin_dedupe, merlin_dedupe_file, merlin_savings_summary)를 제공합니다.
Cursor 설치 방법 (v0.1.3, 방금 출시):
curl -LO https://github.com/corbenicai/merlin-community/releases/latest/download/merlin-community.zip
unzip merlin-community.zip && cd merlin-community
python shared/install_helpers.py cursor enable
~/.cursor/mcp.json에 stdio MCP 항목을 작성합니다. Cursor를 재시작하세요. Claude Desktop, Claude Code, OpenClaw 사용자들이 이미 사용하던 것과 동일한 한 줄 설치 경로이며, v0.1.3에서 Cursor가 새로 추가되었습니다.
솔직한 주의사항:
커뮤니티 티어는 엄격한 제한이 있습니다: 실행당 50MB, 일일 200MB, 월간 2GB. 커뮤니티 바이너리는 할당량을 초과하는 작업을 명확한 메시지와 함께 거부합니다(어제 51MB 테스트 파일로 확인됨). 취미용 사용자는 이 제한에 걸리지 않지만, 지속적인 상업용 파이프라인은 2~3일 내에 도달할 수 있습니다.
세션 간 캐시 무효화 문제는 해결하지 못합니다. 에이전트 루프가 세션을 파편화하고 전체 기록을 재생하는 경우(파편화된 Hermes 세션 등), 이는 Merlin의 MCP 계층 위에서 발생하는 오케스트레이션 문제로 와이어 수준에서는 해결할 수 없습니다.
C++ 엔진은 오픈 소스가 아니며 Pro 전용(별도 제품)입니다. 커뮤니티 에디션은 동일한 인터페이스를 가진 더 단순한 빌드이며, 릴리스에는 약 250KB의 Windows x64 바이너리가 포함되어 있습니다. Linux 및 macOS 버전은 준비 중입니다.
저장소: github.com/corbenicai/merlin-community
텔레메트리는 없습니다. GitHub 별점은 누군가 이 도구를 유용하게 사용하고 있다는 것을 알 수 있는 유일한 신호이므로, 도움이 되셨다면 ⭐ 부탁드립니다. 이슈 트래커는 기능 요청, 버그 보고, 솔직한 비판을 위해 열려 있습니다.
