r/promptengineering•2개월 전•5•9
CLAUDE.md나 AGENTS.md 파일이 코딩 에이전트에 도움이 되는지 측정하는 도구가 있을까? 그리고 이걸 직접 만드는 게 유용한 프로젝트가 될까?
Are there any tools to measure or quantify if a CLAUDE.md or AGENTS.md file is helping your coding agent or not, and would it be a useful project to build?
핵심 요약
코딩 에이전트의 지침 파일인 CLAUDE.md의 효율성을 측정하고 최적화하는 도구 개발 아이디어에 대한 의견을 묻는 글.
- 측정 도구 아이디어 — 에이전트 작업 시 지침 파일 포함 여부에 따른 성능 차이를 비교함
- 섹션별 분석 기능 — 파일 내 특정 섹션이 에이전트 행동에 미치는 영향을 개별적으로 검증함
- 개발 가치 고민 — 과도한 최적화가 될지 혹은 실제로 유용한 도구가 될지 판단이 어려움
최근 프로젝트 파일 내 에이전트 지침 파일들을 비판하는 콘텐츠를 많이 봤는데, 꽤 괜찮고 유용할 것 같은 프로젝트 아이디어가 떠올랐음.
아이디어는 꽤 간단함. 레포지토리의 작업이나 커밋을 가져와서 코딩 에이전트를 두 번 실행하는 거임. 한 번은 CLAUDE.md를 포함하고, 다른 한 번은 숨긴 상태로. 에이전트는 비결정론적이라 여러 번 반복함. 그 후 토큰 사용량, 테스트 통과 여부, 소요 시간, 수정된 파일 수 같은 지표로 두 결과를 비교함.
섹션별로 분석하는 모드도 있음. ## 섹션을 하나씩 제거하면서 재실행하면, 파일의 어떤 부분이 실제로 에이전트 행동을 바꾸고 어떤 부분이 그냥 컨텍스트만 잡아먹고 있는지 알 수 있음. 측정 가능한 효과가 없는 부분은 잘라내면 됨.
이게 과도한 최적화인지 아직 확신이 안 서서, 만약 그렇다면 이런 걸 만드는 데 시간을 많이 쏟고 싶지는 않음.
