“Karpathy” CLAUDE.md가 Claude Code의 행동을 4개 작업 중 2개에서 확실히 변화시킴
The “Karpathy” CLAUDE.md clearly changed Claude Code’s behavior on 2 of 4 tasks
핵심 요약
CLAUDE.md 가이드라인 적용 시 Claude Code가 모호한 요청에 대해 추측 대신 질문을 먼저 하는 행동 변화가 관찰됨.
- 행동 변화 — 모호한 요청 시 추측 대신 질문을 먼저 하는 경향이 강화됨
- 성능 차이 — 코드 품질이나 정확도 면에서는 가이드라인 적용 전후의 큰 차이가 없음
- 테스트 추가 — 가이드라인 적용 시 버그 수정과 함께 회귀 테스트를 추가하는 경향이 나타남
- 설치 주의사항 — curl 명령 사용 시 기존 CLAUDE.md 파일이 덮어씌워질 수 있으므로 주의 필요
별 22만 8천 개나 박힌 CLAUDE.md 파일(forrestchang/andrej-karpathy-skills)은 카파시 본인이 쓴 게 아니라, 그냥 걔가 하는 짓 보고 만든 거임. 여기엔 딱 4가지 규칙이 있음: 코딩 전에 생각하기, 단순함 우선, 정밀한 수정, 그리고 목표 지향적 실행.
똑같은 작업 4개를 각각 3번씩, 총 24번 돌려봄. Claude Code 2.1.312, Opus 5.5 버전 썼고, 작은 Node.js 프로젝트에 매번 새로 복사해서 테스트함.
애매한 요청("사용자 내보내기 기능에서 날짜 처리 제대로 해줘", 데이터엔 03/05/2024 포함): 파일 없을 땐 3번 다 그냥 코드 짜버리고(25~31줄) 지들이 알아서 가정했다고 씨부림. 파일 있을 땐 3번 중 2번은 일단 멈추고 물어보더라. 6번 다 날짜 문제인 건 알아챘으니, 파일 유무는 클로드가 문제를 발견하냐 마냐가 아니라, 언제 물어볼지 결정하는 데 영향을 주는 듯. 파일 쓴 3번째 케이스는 8줄짜리 수정으로 날짜 텍스트를 그냥 통과시켰는데, 파일 안 쓴 애들은 그걸 거부했음. 여기선 짧은 게 꼭 좋은 건 아니었음.
할인 버그 있는 개판인 파일: 6번 다 똑같은 한 줄만 고치고 죽은 코드는 건드리지도 않음. 즉, 규칙 없어도 클로드는 이미 정밀하게 수정하고 있었음. 근데 파일 쓴 3번은 다 회귀 테스트를 추가했는데, 안 쓴 애들은 하나도 안 함.
재시도 헬퍼: 파일 있을 땐 10~12줄, 없을 땐 12~17줄. 차이가 너무 작아서 더 돌려봐야 알 듯.
명확한 버그: 차이 없음. 6번 다 똑같이 고치고 테스트 추가함.
클로드가 본 적 없는 숨겨진 테스트도 둘 다 통과함. 즉, 정확도는 파일 유무랑 상관없음.
각 12번씩 돌린 총합: 274초 vs 281초, 비용은 Claude Code 추정치로 $2.56 vs $2.69. 이건 애매한 프롬프트에 대해 질문하고 나서 오가는 대화 시간은 포함 안 된 거임.
한계점: 설정당 3번씩만 돌렸고, 프로젝트도 쥐꼬리만 하고, 모델도 하나만 씀. 레포 마지막 커밋이 2026년 4월이라 Opus 5.5 염두에 두고 쓴 것도 아님.
이미 CLAUDE.md 파일 있는 놈들은 curl -o로 설치하지 마라. 파일 덮어씌워지니까. 그냥 뒤에 덧붙여서 써라.
https://aiparabellum.com/karpathy-claude-md-guidelines-tested/
