r/vibecoding•5개월 전•0•34

AI가 생성한 10만 개 리포지토리 스캔 결과: 프로덕션 기준 통과율은 단 1%

I Scanned 100K AI generated repos. Only 1% of projects passed production checks

핵심 요약

AI가 생성한 10만 개의 리포지토리를 분석한 결과, 프로덕션 수준의 품질을 갖춘 프로젝트는 1%에 불과함.

프로덕션 통과율 — AI 생성 코드 중 실제 서비스 가능한 수준은 1%에 그침.
도구별 성능 — Cursor, Bolt 등 주요 AI 도구 간의 품질 차이가 거의 없음.
주요 결함 — 로깅, 타임아웃, 보안 설정 등 인프라 및 보안 관련 항목에서 높은 실패율을 보임.
분석 방법론 — 정적 분석을 통해 JS/TS 스택 위주로 프로덕션 준비 상태를 평가함.

지난 10일 동안 저는 AI가 생성한 것으로 식별된 공개 GitHub 리포지토리를 대상으로 22개의 프로덕션 준비 상태 점검을 수행했습니다.

총 103,653개의 리포지토리.

점수가 매겨진 리포지토리들의 평균 프로덕션 준비 상태: 53%.

프로덕션 기준을 통과한 것은 단 1%뿐이었습니다.

리포지토리 전반에서 나타난 주요 실패 원인:

93% 로깅 없음
91% 외부 HTTP 호출에 대한 타임아웃 없음
86% API에 인증 가드 없음
85% 에러 경계(error boundaries) 없음
75% 환경 설정 노출
66% 속도 제한(rate limiting) 없음

이러한 패턴은 Lovable, Bolt, Cursor, Windsurf, Claude Code, Replit, Aider, Continue, Trae, Roo 등에서 표시된 리포지토리들 전반에서 유사하게 나타났습니다. 모든 도구 그룹이 평균 51%에서 60% 사이에 머물렀습니다.

방법론:

리포지토리는 .bolt/, .lovable/, .cursorrules, .windsurf/와 같은 도구 마커로 식별됨
프로덕션 기준은 100점 만점에 86점 이상이며 치명적인 결함이 없는 상태
정적 분석만 수행
JS/TS 스택을 점수화함
다른 언어들은 개수에는 포함했으나 점수화하지 않음

방법론에 대한 질문이 있거나 데이터셋에서 추가적인 분석이 필요하시면 댓글로 남겨주세요.

원문

커뮤니티 목록

r/vibecoding•5개월 전•0•34

AI가 생성한 10만 개 리포지토리 스캔 결과: 프로덕션 기준 통과율은 단 1%

I Scanned 100K AI generated repos. Only 1% of projects passed production checks

핵심 요약

AI가 생성한 10만 개의 리포지토리를 분석한 결과, 프로덕션 수준의 품질을 갖춘 프로젝트는 1%에 불과함.

프로덕션 통과율 — AI 생성 코드 중 실제 서비스 가능한 수준은 1%에 그침.
도구별 성능 — Cursor, Bolt 등 주요 AI 도구 간의 품질 차이가 거의 없음.
주요 결함 — 로깅, 타임아웃, 보안 설정 등 인프라 및 보안 관련 항목에서 높은 실패율을 보임.
분석 방법론 — 정적 분석을 통해 JS/TS 스택 위주로 프로덕션 준비 상태를 평가함.

지난 10일 동안 저는 AI가 생성한 것으로 식별된 공개 GitHub 리포지토리를 대상으로 22개의 프로덕션 준비 상태 점검을 수행했습니다.

총 103,653개의 리포지토리.

점수가 매겨진 리포지토리들의 평균 프로덕션 준비 상태: 53%.

프로덕션 기준을 통과한 것은 단 1%뿐이었습니다.

리포지토리 전반에서 나타난 주요 실패 원인:

93% 로깅 없음
91% 외부 HTTP 호출에 대한 타임아웃 없음
86% API에 인증 가드 없음
85% 에러 경계(error boundaries) 없음
75% 환경 설정 노출
66% 속도 제한(rate limiting) 없음

방법론:

리포지토리는 .bolt/, .lovable/, .cursorrules, .windsurf/와 같은 도구 마커로 식별됨
프로덕션 기준은 100점 만점에 86점 이상이며 치명적인 결함이 없는 상태
정적 분석만 수행
JS/TS 스택을 점수화함
다른 언어들은 개수에는 포함했으나 점수화하지 않음

방법론에 대한 질문이 있거나 데이터셋에서 추가적인 분석이 필요하시면 댓글로 남겨주세요.

주요 댓글

r/vibecoding

AI 생성 코드의 품질 저하에 대한 분석 결과에 대해 커뮤니티가 방법론과 결과의 타당성을 활발하게 토론하고 있음.

crates.io 같은 일반적인 소스랑 비교해 보면 어떨까? AI 표시 없는 것들로만 골라서. 만약 여유 되면 거품 꺼지기 전의 버려진 crate들도 한번 봐봐. GitHub 리포가 '품질'이나 '진지함'을 나타내는 지표라고 보긴 좀 어렵거든.

맞는 말이야. 공공 GitHub는 좀 편향돼 있고, 쓰레기 같은 코드도 많이 올라오니까. 그래도 툴별로 51~60% 범위에 다 들어온다는 게 이 수치를 신뢰하게 만드는 포인트지. 샘플 편향 때문이라면 툴 간 격차가 더 컸을 테니까.

Rust 생태계는 2023~2024년 정도로 맞춰도 될 듯. 어쨌든 결과 기대됨. 데이터 분포는 어떻게 보고 있어? 만약 넓은 가우시안 형태라면 분석 툴을 제대로 만들었다는 증거일 수도 있겠네.

Rust 타이밍 지적 좋네. JS/TS는 2020~2021년 정도로 잡고, Rust는 2023년 근처로 봐야겠어. 분포는 53% 근처의 좁은 가우시안은 아님. 6%는 critical, 77%는 결함 많음, 17%는 거의 다 옴, 1%만 프로덕션 준비 완료. 51~60% 수렴은 툴 그룹 평균 수준에서 나타나는 거야.

사진 좀 보여줘.

4단계 버킷 정보는 useastro.com/vibe-code-report에 있어. 'The score distribution' 섹션 봐봐. 더 자세한 히스토그램은 원본 데이터에서 뽑아야 해서 나중에 스레드에 올릴게.

기대하고 있을게!

당연하지, 그 리스트도 최소한일 뿐이야. 거기서 3배는 더 늘려야 엔터프라이즈 요구사항, 컴플라이언스, 웹 스케일, 고가용성 같은 거 따질 수 있음.

맞아, 22개 체크는 시작일 뿐이지. 근데 놀라운 건 그 최소한의 기준도 못 넘는 리포가 많다는 거야. 99%가 최소 하나는 놓치고 있거든.

10만 개? 10만 개 리포를 다 스캔해서 맥락 파악하고 문제 찾는 게 가능해? 10일 동안이면 하루에 1만 개인데, 이게 말이 됨?

아, 정정할게. 실제 스캔은 128GB RAM 서버에서 2~3일 걸렸어. 하루에 3만~4만 개 정도지. Shallow clone이랑 정적 분석, 병렬 처리 돌리면 충분히 가능해. 스캐너 오픈소스니까 github.com/use-astro/score-action 가서 확인해 봐.

진짜 탄탄한 분석이네. 프로덕션에서 AI 코드 리뷰해 본 사람이라면 놀랍지도 않을 결과야. 로깅이랑 타임아웃 문제는 진짜 사소한 건데 스케일 커지면 다 터뜨리는 주범이라 제일 짜증 나지.

외부에서 리뷰 거쳤는지는 알 방법이 없지. 정적 분석은 코드만 보니까. '그냥 배포'랑 '리뷰했는데도 놓친 거'가 섞여 있을 거야. 내 생각엔 리뷰 단계에서 10~20% 정도는 걸러지겠지만 70~80%는 아닐 듯. 그래서 리뷰 거친 것들 포함해도 베이스라인이 낮은 거지.

정적 분석은 어떻게 처리했어?

22개의 규칙 기반 체크를 썼고, 각각 패턴 매칭 로직이 따로 있어. 실행은 안 하고 정적 분석만 함. 스캐너 오픈소스니까 github.com/use-astro/score-action에서 구현 방식 확인 가능해.

원문r/vibecoding