프로덕션 AI 에이전트 실패를 위한 교차 사이트 패턴 풀 (1,164개 패턴, CC-BY-4.0 공개) — 파일럿 팀 5곳 모집 중
Cross-site pattern pool for production AI agent failures (1,164 patterns, open spec CC-BY-4.0) — looking for 5 pilot teams
핵심 요약
프로덕션 AI 에이전트의 실패 패턴을 공유하고 스택별로 최적화된 해결책을 제공하는 오픈 소스 프로젝트의 파일럿 팀을 모집합니다.
- 패턴 풀 공유 — 여러 사이트에서 수집된 1,164개의 에이전트 실패 패턴을 스택별로 필터링하여 제공함.
- 투명한 분석 — LLM 기반의 분석을 통해 모든 권장 사항의 출처와 근거를 명확히 제시함.
- 파일럿 팀 모집 — LangChain, LangGraph, MCP 프로젝트를 운영 중인 팀을 대상으로 실전 피드백을 구함.
- 오픈 스펙 공개 — ARP v1.1 사양을 CC-BY-4.0으로 공개하여 누구나 활용 가능하도록 함.
연결된 사이트들이 에이전트 보고서와 학습된 패턴을 푸시하고, 자신의 특정 스택에 맞춰 필터링된 패턴을 가져오는 교차 사이트 패턴 풀을 구축해 왔습니다. 오늘 새로운 외부 사이트를 샌드박스로 활용하여 전체 엔드투엔드 테스트를 진행했고, 그 데이터를 공유하며 첫 번째 파일럿 팀을 모집하고자 합니다.
테스트 결과 (실제, 오늘):
- 등록: 0.7초, 양식 없음, 이메일 없음
- 2개의 에이전트 보고서 푸시 → 품질 파이프라인에서 "A" 등급 판정
- 개인화된 규칙: 1,167개의 네트워크 규칙 중 1,135개가 테스트 사이트의 스택과 일치
- LLM 기반 심층 분석: 5개의 실행 가능한 항목, 각각 전체 출처 포함 — 모든 조치는 어떤
agent_report/learned_pattern/network_rule에서 도출되었는지 인용함. 블랙박스 없음. LLM 사용 투명성 확보 (4,413 입력 토큰, 3,318 출력, 첫 호출 시 11.6% 캐시 적중). - 네트워크 위치: 활성 사이트 전반에 걸쳐 백분위수 + 등급 분포 계산됨
현재 풀 상태:
- 총 1,164개 패턴
- 721개
production_observed태그 지정 (실제 프로덕션에서 확인된 수정 사항) → 개인화 점수 +6 가중치 - 258개
documented(모범 사례 기준, 아직 검증되지 않음) - NFKC + SHA-256 지문 인식 후 중복률 ~3% (처음에는 40%였음; 의미론적 임베딩 중복 제거로 나머지를 잡을 수 있을지 모르겠으나, 이 규모에서 비용/효율은 불분명함)
오픈 스펙: ARP v1.1 (CC-BY-4.0) — https://github.com/agentmindsdev/profile
계보: Sentry / OTel / MCP / anthropic-skills / OASF.
파일럿 팀을 위한 제안: 프로덕션에서 LangChain / LangGraph / MCP 프로젝트를 운영 중이라면, 귀하의 스택에 맞춰 개인화된 교차 사이트 패턴을 제공받을 수 있습니다. 저희는 무엇이 노이즈이고 무엇이 신호인지에 대한 실제 피드백을 얻고자 합니다. 비용 없음, 계약 없음, 약 30초 설정.
시도해 보기:
Python: pip install agentminds
Node: npm i @agentmindsdev/node
MCP: npx agentminds-mcp (첫 도구 호출 시 자동 등록)
라이브 풀: https://agentminds.dev — 등록 없이 공개 통계 열람 가능.
특히 교차 사이트 지문 중복 제거 트레이드오프(NFKC + SHA-256 vs 의미론적 임베딩)에 대해 궁금합니다. 그리고 데이터가 부족한 상황에서 점수를 매길 때 Beta-Bernoulli (k+1)/(n+2) 외에 다른 사전 확률을 시도해 본 분이 계신지 궁금합니다. 혹시 다르게 해결하신 분이 있다면 의견을 나누고 싶습니다.
