대규모 프로젝트에서 계속 늘어나는 테스트 코드는 어떻게 처리하시나요?

할 일이 더 남았음. AI가 테스트를 과하게 하는 경향도 있음.

AI가 실행하는 걸 보면, 전체 테스트 스위트를 몇 번씩 다시 돌리고, pre-push 때 또 돌리고, CI/CD PR 때 또 돌리고, 머지할 때 또 돌림. 최소 3번에서 많게는 10번까지 전체 스위트를 돌리는 꼴임.

그러니까 개발 모드일 때는 건드린 코드랑 관련된 테스트만 돌아가게 설정하셈. pre-push 때는 CI/CD랑 100% 똑같은 컨테이너 환경에서 실제 테스트를 돌려서 성공하게 만들고. 그리고 테스트를 중복으로 돌리지 않게 주의하셈. PR이 main 브랜치 기준으로 테스트됐는데 main이 바뀐 게 없다면, 다시 테스트할 필요 없음.

다른 테스트들이 실패할 수 있는지 확인하는 테스트가 있다면 얘기가 다르지!

1. Claude에게 최적화를 도와달라고 하세요. 테스트를 프로파일링해서 시간이 어디서 소요되는지 알려줄 겁니다.

2. 병렬로 실행 가능한 테스트들은 병렬로 돌리게 하세요.

3. 테스트가 의존하는 코드가 변경될 때만 실행되도록 설정하고, 전체 테스트는 밤에 돌리게 하세요.

4. 중복된 테스트가 있는지, 합칠 수 있는 게 있는지 확인해달라고 하세요.

5. 여러 대의 기기가 있다면 여러 기기에 걸쳐 실행할 수 있습니다.

6. 브랜치 같은 특정 케이스에는 테스트 수를 줄이고, 메인 브랜치에서만 더 많은 테스트를 실행하게 할 수 있는지 물어보세요.

7. Shopify처럼 샵에 접근하는 건 매우 느릴 수 있습니다. 타임아웃이나 아이템 접근 같은 문제가 있으니, API 호출 사이에 다른 테스트를 끼워 넣어 API 호출 빈도를 분산시키는 식으로 창의적으로 해결할 수 있습니다.

8. 테스트 우선순위를 정하세요. 지난번에 실패했던 테스트를 먼저 실행하고, 최근에 실행되지 않은 것, 마지막으로 최근에 성공한 테스트 순으로 돌리는 겁니다. 핵심은 '빨리 실패하게(fail fast)' 만드는 거죠. 성공적인 실행에는 도움이 안 되겠지만, 에이전트 루프를 돌릴 때는 AI가 오류를 더 빨리 발견해서 더 빨리 수정 작업에 들어갈 수 있게 해줍니다(AI에게 그렇게 하라고 지시해야 합니다).

Claude에게 테스트를 검토하고 간소화할 계획을 제안해달라고 요청해 보세요.

테스트 스위트를 '줄이는' 게 아니라 중복 테스트를 피하는 게 중요합니다(구현 내용도 늘어나니 예전엔 좋았던 게 지금은 중복일 수 있죠). 그리고 프로덕션으로 가는 코드만 전체 테스트를 돌리는 방식(스테이징 레포가 있다고 가정할 때)이 시간을 많이 절약해 줍니다. 비기술직 사용자의 개인적인 경험담입니다.

회귀 테스트(regression tests)를 하세요.

저는 1200개의 테스트가 있는데 대부분 병렬로 실행돼서 3분밖에 안 걸립니다. 전혀 문제없고, 솔직히 요구사항을 문서화하는 데는 최고입니다.

[여러분께 질문] 변경된 내용과 관련된 테스트만 실행하는 건 괜찮을까요? 이게 맞는 방법인지는 모르겠지만, 저는 기능 개발 중에는 관련 테스트만 실행되도록 설정했고, 작업 단위가 끝날 때 15분짜리 전체 테스트를 돌리는 방식으로 바꿨습니다(실패하면 다시 반복하고요).

스모크 테스트와 회귀 테스트 규칙을 세우세요.

수정된 기능에는 스모크 테스트를, 나머지는 잘 작동하는지 확인하기 위해 가끔 회귀 테스트를 돌리는 식이죠.

테스트 속도를 좀 높였던 방법은 반복되는 로직을 따로 빼서 패키지로 만든 다음, 테스트에서 기존 함수들을 재사용하게 하는 거였음. 내 테스트 코드에서 파일 이름이랑 경로 정리하는 부분이 80% 정도 차지했는데 그걸 20% 수준으로 줄였고, 전체 실행 시간도 몇 분 정도 단축됐어(대략 10% 정도 시간 절약). 똑같은 코드를 조금씩 다르게 수십 번이나 작성해 놨었거든.