AI가 작업 시간을 과대평가하는 이유가 뭘까?
You ever think they give time spans so they can flex
핵심 요약
AI 모델들이 실제 작업 시간보다 훨씬 긴 시간을 예측하는 현상에 대해, 사용자들이 그 원인과 해결책을 논의합니다.
- 학습 데이터의 영향 — 인간 개발자의 Jira 기록을 학습하여 보수적으로 시간을 산정함
- 시간 개념 부재 — AI는 내부적인 시간 감각이 없어 인간의 작업 속도를 기준으로 예측함
- 실제 측정의 중요성 — 모델의 예측 대신 직접 작업 시간을 측정하여 비율을 적용하는 것이 효율적임
- 프롬프트 엔지니어링 — 시스템 프롬프트에 시간 개념을 명시하여 예측 정확도를 개선하려는 시도
Claude나 Codex 같은 애들한테 일 시키면 가끔 "이거 몇 주 걸림" 이래놓고 30분 만에 뚝딱 해치우고, 한 시간도 안 돼서 결과물까지 내놓는 경우가 있음. 속도가 빠른 건 불만 없지, 오히려 감탄스러울 정도니까. 근데 여기서 좀 흥미로운 의문이 생김. 왜 이 시스템들은 자기 작업 완료 시간을 예측할 때마다 이렇게 한결같이 부정확한 걸까?
이게 단순히 AI 모델이 시간을 추론하는 방식의 한계일까, 아니면 작업 진행 상황을 전달하도록 설계된 방식 때문에 작업의 복잡도나 소요 시간을 실제보다 부풀려서 말하게 되는 걸까?
내가 제일 이상하게 느끼는 건 얘들이 과정을 설명하는 방식임. 전체 사용량의 10%도 안 쓰고 순식간에 끝내놓고는, 마치 몇 주 동안 엄청난 공학적 난제를 해결하느라 고생이라도 한 것처럼 결과물을 포장함. 예측한 타임라인이랑 실제 실행 시간, 그리고 그 노력을 묘사하는 언어 사이의 괴리가 너무 커서 이해하기가 힘듦.
Claude의 200달러 플랜이나 Codex의 100달러 플랜 같은 상위 티어 플랜을 쓰면 용량이 더 넉넉해질 순 있겠지. 근데 그렇다고 해서 예측이랑 결과 사이의 그 괴리가 설명되는 건 아니잖아.
혹시 이게 사용자를 안심시키거나, 감탄하게 만들거나, 만족감을 주려고 설계된 일종의 행동 최적화 아닐까? 의도적으로 속이려는 건 아니더라도, 모델을 훈련시킬 때 인간처럼 보이려고 노력하는 모습이나 유능함을 과시하거나 기대치를 관리하도록 학습시킨 결과물일 수도 있고.
아니면 좀 더 기술적인 이유가 있는 걸까? 모델들이 실제 실행 시간을 계산하는 게 아니라 작업의 전체적인 복잡도를 추정하는 거라면? 실제로 일어나지도 않을 가상의 장애물까지 고려하거나, 문제 해결을 위한 추론의 난이도를 실제 소요 시간과 착각하는 걸 수도 있지.
결국 문제는 신뢰임. AI가 2주 걸린다고 해놓고 30분 만에 끝내버리면, 앞으로 내놓는 예측을 얼마나 믿어야 할까? 그리고 비교적 짧은 과정을 마치 엄청난 공학적 대장정이었던 것처럼 묘사하는 건 단순히 언어 모델의 소통 방식에서 오는 부산물일까, 아니면 이 시스템들이 훈련되는 방식에 더 깊은 의도가 깔려 있는 걸까?
단순히 겉핥기식 설명 말고, 그 밑바닥에 깔린 메커니즘이 궁금함. 이게 근본적으로 예측의 문제일까, 소통의 문제일까, 아니면 제품 설계상의 결정일까? 아니면 이 셋이 다 섞인 걸까?
불평하는 건 아님. 그냥 한 달 걸린다고 해놓고 한 시간 만에 끝내버리면 도대체 일정을 어떻게 잡으라는 건지 고민될 뿐임...
