게임의 판도가 바뀌었다

안녕하세요 여러분!

우리 모두 Claude Code(그리고 전반적인 AI)가 소프트웨어 개발의 판도를 바꾸고 있으며, 생산성을 2배, 3배, 4배, 10배까지 높여준다는 이야기를 듣습니다. 하지만 이상하게도 제가 보는 AI의 좋은 점들은 Reddit에서만 보일 뿐, 제 경험이나 동료들의 경험에서는 전혀 느껴지지 않습니다.

저는 .NET 개발자인데, 업무에서 AI를 사용해 얻는 이득이 거의 없습니다. 저는 몇 주 동안 CC를 사용해 개발하려고 노력했습니다. "여기 모든 걸 말로 설명할 테니 코드로 짜줘"부터 "분석 다 하고, 질문 다 하고, 내가 검토한 뒤에 코딩해"까지 모든 방식을 시도했지만, 그 어떤 접근법도 3배의 성능 향상은커녕 10~20%라도 향상되었는지조차 의문입니다.

제 주변도 거의 비슷합니다. 친구나 동료들은 저와 똑같은 말을 하거나, 아니면 수천 줄의 엉망진창이고 버그투성이인 코드를 만들어낼 뿐입니다.

예를 들어, 지난주에 저는 75,000줄짜리 MR(Merge Request)을 리뷰했는데 코드가 형편없었습니다. 여러 버그를 발견해서 수정 요청을 했고, AI가 그걸 '수정'했다고 해서 확인해 보니 결과는 더 엉망이었습니다. 어떤 코멘트에는 "커밋 999xxx에서 수정했다"고 적혀 있었는데, 그런 커밋은 존재하지도 않았습니다. 이 MR은 우리 팀 최고의 'AI' 개발자가 만든 것이었습니다.

다시 말하지만, 훨씬 간단한 기능에 75,000줄의 코드가 들어갔습니다. 네, AI는 수많은 검증, 테스트, 테스트를 위한 테스트, 심지어 아키텍처 테스트(메서드 이름 확인용 lol)까지 생성했습니다. 하지만 그 코드의 바다 속에서 버그 중 하나는 이것이었습니다: 외부 서비스를 호출해서 데이터베이스의 모든 문서를 요청한 다음, 서비스 자체에 필터링 쿼리를 전달하는 대신 우리 쪽에서 필터링을 하고 있었습니다.

저는 CC로 저만의 에이전트 흐름을 '구축'하려고도 시도했습니다. 서브 에이전트를 사용하고, 우리 코드베이스를 위한 기술을 작성하고, 스타일, 규칙, 이슈 분해 및 요구사항 분석을 포함한 일반적인 워크플로우를 만들었죠(물론 Superpowers나 다른 CC '프레임워크'도 시도했습니다). 하지만 좋은 결과를 얻은 적은 없습니다. 여기서 '좋다'는 말은 제가 직접 작성하는 것과 비슷한 수준의 코드 품질을, AI 없이 수동으로 할 때보다 더 빠르게 전달하는 것을 의미합니다.

예를 들어, 꽤 복잡한 이슈가 있었습니다. FE-BE 통신을 중간 연결을 통한 동기 방식에서 백그라운드 처리와 이벤트를 사용하는 비동기 방식으로 변경해야 했습니다. 단순한 CRUD 서비스가 아닌 비교적 새로운 마이크로서비스였고, 게다가 제가 이 마이크로서비스를 다루는 게 처음이었습니다(구조에 대해 조금 알긴 했지만 능숙하지는 않았습니다).

저는 사양서를 작성했고, AI와 함께 작업을 분석하고 몇 가지 접근 방식을 고려한 뒤 여러 개의 작은 서브태스크로 분해했습니다. 저는 각각을 검토했고, 그 후 코딩이 시작되었습니다.

총 8개의 서브태스크가 있었습니다. 각 작업이 끝날 때마다 MR이 생성되었고, 저는 수동으로 리뷰하고 코멘트를 달았습니다.

비즈니스 로직이 없는 서브태스크는 꽤 잘 개발되었습니다. DTO, 인터페이스, 템플릿 등 사소한 파일들은 괜찮았기에 문제가 없었습니다. 하지만 로직이 포함된 모든 작업은 끔찍했습니다.

첫 번째 복잡한 작업에는 65개의 코멘트를 남겼고, 두 번째는 약 30개, 마지막 작업에는 120개의 코멘트와 수차례의 리팩토링 및 개선 반복이 필요했습니다.

결국 150개의 파일이 변경되었는데도 전혀 작동하지 않았습니다. 시작부터 끝까지 약 4일이 걸렸습니다.

저는 직접 조사하기로 마음먹었고, 2일 만에 서비스 코드를 파악하고 필요한 모든 변경 사항을 작성했습니다. 결과적으로 60개 미만의 파일만 변경되었고 모든 것이 잘 작동했습니다.

결국 저는 AI를 사용해 매우 복잡한 개발 과정을 거쳤고, 시간은 더 오래 걸렸으며, 결과물은 CC 없이 직접 했을 때보다 더 나빴습니다.

불행히도 이것은 저나 제 지인들이 실패한 유일한 사례가 아닙니다.

저는 AI를 싫어하는 사람이 아닙니다. 테스트를 생성하거나 템플릿 기반 코드를 작성할 때는 잘 사용하고 있고, 코드베이스가 작고 단순하면 잘 작동합니다. 하지만 Reddit을 읽을 때마다 사람들이 인생이 완전히 바뀌었다고 말하는 걸 보면, 제가 뭘 잘못하고 있는지 도무지 모르겠습니다.

혹시 실제 사용자(최소 1,000명 이상)가 있는 복잡한 제품을 다루는 엔터프라이즈 개발자 중에서 AI를 프로세스에 성공적으로 통합한 분이 계신가요? 실제 워크플로우 예시나 어떤 종류의 작업을 해결하는지 공유해주시고, 제게 제안을 좀 해주실 수 있을까요?