"AI 코드는 쓰레기다"라는 주장의 문제점: test262, html5lib-tests, 그리고 마이크로소프트의 자체 셰이더 컴파일러가 반박하다
"AI code is slop" has a problem: test262, html5lib-tests and Microsoft's own shader compiler disagree
핵심 요약
AI가 작성한 코드의 성능이 기존 도구들을 능가한다는 실증적 사례를 공유하며 AI 코딩의 가능성을 제시함.
- 성능 검증 — 공식 테스트 스위트에서 기존 도구보다 뛰어난 결과 도출
- 자동화 공정 — 단순 '바이브 코딩'이 아닌 체계적인 관리 시스템 도입
- 기존 도구 개선 — 기존 소프트웨어의 성능과 효율성을 전반적으로 향상
- AI 회의론 — 사실과 논리보다는 감정적 거부감이 앞서는 반응 확인
AI가 짠 코드는 겉만 번지르르하고 실전에서는 개박살 난다는 게 정설이지. 그래서 우리가 생각할 수 있는 가장 빡센 것들을 직접 만들어보고, 우리 쪽 사람이 아닌 남들이 짠 테스트 스위트로 검증까지 마쳤다.
지난 수요일부터 바닥부터 새로 짠 C# 라이브러리 11개, 대략 114만 줄 정도고 .NET 자체 말고는 아무것도 안 썼다:
-
JavaScript interpreter: 공식 ECMAScript 적합성 테스트인 test262에서 99.55% 통과 (43,471개 테스트)
-
HTML parser: html5lib-tests 100% 통과. 12,800개의 실제 페이지에서 접근성 트리(accessibility tree)를 뽑아보니 Chrome과 비교해서 필드당 0.5% 오차 범위 내로 일치함.
-
HLSL shader compiler: GPU 테스트 330개 중 330개 전부 Microsoft의 DXC와 동일하게 작동하고, 컴파일 속도는 2.4배 더 빠름.
-
Font shaper: 레퍼런스랑 470만 번 대조했는데 불일치 0건.
-
Opus encoder: RFC 레퍼런스와 바이트 단위로 완벽하게 일치 (269/269)
-
HTML/CSS renderer: 벤치마크 돌린 모든 문서에서 헤드리스 Chrome보다 빠름. 1만 행짜리 표를 PDF로 렌더링할 때 1.8초/305MB 걸리는데, Chrome은 6.5초/2.1GB 처먹음.
-
PDF library: PdfPig보다 시간, 메모리, 할당량 전부 압살하고 텍스트 추출 에러율도 3분의 1 수준임.
이 중 7개는 NuGet에 올라가 있다.
이건 그냥 느낌대로 짜는 '바이브 코딩'이 아니다. 기획자, 프로젝트 매니저, 오케스트레이터, 엔지니어, 리뷰어까지 싹 다 갖춘 공장형 시스템이고, 모든 라이브러리에 엄격한 규칙을 적용했거든. 코드는 전부 AI가 짰지만, 검증은 사람이 직접 했다.
저장소: https://github.com/orgs/recursive-ai-oss/repositories 작동 원리: https://recursiveai.org/research/alera-library-factory/


