CLAUDE.md 파일이 포함된 12,356개 저장소 분석 — 지침의 3분의 2는 추상적인 장식일 뿐
We analyzed 12,356 repos with CLAUDE.md files — two-thirds of instructions are abstract wallpaper
핵심 요약
Claude 지침 파일의 대부분이 구체적인 명령 대신 모호한 문구로 채워져 있어 AI 성능을 저하시킨다는 분석 결과입니다.
- 지침 구성 분석 — CLAUDE.md 파일의 73%가 제목이나 예시 같은 비지시적 내용으로 구성됨
- 지침 구체성 부족 — Claude는 도구나 파일명을 명시하는 비율이 30.6%로 타 모델 대비 낮음
- 모델별 성능 차이 — 동일한 개발자가 작성해도 모델에 따라 지침 이행 능력이 크게 달라짐
- 구체적 명령의 중요성 — '깔끔한 코드 작성' 같은 추상적 지시보다 '특정 도구 실행' 같은 구체적 명령이 효과적임
우리는 결정론적 분석기를 구축하여 5개의 코딩 에이전트에 걸쳐 28,721개의 GitHub 저장소를 분석했습니다. 그중 12,356개가 Claude 지침 파일을 가지고 있었습니다.
이 커뮤니티와 관련된 몇 가지 발견:
-
평균적인 CLAUDE.md는 50개의 콘텐츠 항목을 가지고 있지만 실제 지침은 12개뿐입니다. 나머지 73%는 제목, 맥락, 예시입니다.
-
Claude는 5개 에이전트 중 가장 낮은 구체성을 보입니다. 지침의 약 30.6%만이 특정 도구, 파일 또는 명령을 명시합니다. Gemini가 39.3%로 앞서고 있습니다.
-
다중 에이전트 저장소에서 동일한 프로젝트를 위해 작성하는 동일한 개발자조차 에이전트마다 측정 가능한 수준의 품질 차이를 보입니다. Claude는 가장 이중적입니다. 가장 자주 최고이면서 동시에 가장 자주 최악입니다.
-
기술(Skills)과 하위 에이전트(sub-agents)는 가장 구체성이 떨어지는 설정 유형입니다. 해당 지침 중 17%만이 .claude/agents/ 정의에서 구체적인 것을 명시합니다.
-
"일관된 서식을 사용하라"는 수천 개의 저장소에 있습니다. "커밋하기 전에
ruff format으로 서식을 지정하라"는 없습니다. 두 번째 지침은 잘 지켜집니다.
전체 데이터셋(28,721개 저장소)은 github.com/reporails/30k-corpus에 공개되어 있습니다.
