AI 도입과 굿하트의 법칙
AI adoption and the Goodhart's law
핵심 요약
기업이 AI 생산성을 토큰 사용량 같은 지표로 측정하면서 발생하는 부작용과 굿하트의 법칙에 대한 고찰.
- 굿하트의 법칙 — 측정 지표가 목표가 되는 순간 좋은 지표로서의 가치를 상실함.
- AI 생산성 측정 — 토큰 사용량이나 커밋 수로 생산성을 평가하는 기업의 무리한 시도.
- 잘못된 인센티브 — 토큰 사용량을 늘리기 위해 불필요하게 고성능 모델을 사용하는 현상.
- 대안적 지표 — 코드 품질과 리뷰 통과 시간을 고려한 생산성 측정의 필요성.
굿하트의 법칙: "측정 지표가 목표가 되는 순간, 그것은 더 이상 좋은 지표가 아니다."
모든 기업의 지침이 굿하트의 법칙의 사례라고 주장할 수도 있겠지만, 이번 AI 도입 건은 정말 제정신이 아니다.
- 토큰 사용량
- 커밋 횟수
- PR 크기
- 혁신 비율?
회사는 이런 지표들을 사용해 생산성을 높이고 측정하려 하지만, 결과적으로 1~2주간의 혼란만 야기하고 직원들은 더 작은 커밋을 자주 올리며 기본적으로 Opus 4.8 xHigh 설정을 남용하게 됨.
