CI 환경에서 불안정한 테스트 자동화 문제를 다들 어떻게 해결하고 계신가요?

불안정한 E2E 테스트는 거의 항상 타이밍이나 선택자 문제인데, 마치 커버리지가 확보된 것처럼 굴지. Playwright의 auto-wait 기능이 sleep 문 문제 대부분을 해결해주고, trace viewer로 실패 원인도 바로 볼 수 있어. 불안정한 테스트는 따로 격리해서 신뢰도를 떨어뜨리지 않게 하고 하나씩 고쳐나가야 함. 관리자들이 고장 난 테스트 스위트 보고 안심하는 게 진짜 위험한 거니까, 이 상황을 확실하게 보고하는 게 중요함.

내 생각엔 테스트가 아예 없는 것보다 불안정한 테스트가 더 최악임. 테스트가 없으면 커버리지가 없다는 걸 알기라도 하지, 불안정한 테스트는 잘못된 자신감만 심어주거든.

autosana 같은 건 요소 쿼리하는 대신 화면에 보이는 걸 기준으로 테스트하니까 타이밍 이슈로 인한 flakiness가 아예 안 생김.

흥미로운 접근이네. 동적 콘텐츠 많은 복잡한 SPA는 어떻게 처리할지 궁금함.

내 생각엔 flaky test가 아예 없는 것보다 더 최악임. 테스트가 없으면 커버리지 없다는 걸 알기라도 하지, flaky test는 거짓된 자신감만 심어주니까.