모델이 똑똑해질수록 모든 걸 너무 깊게 생각함
The smarter the model gets, the more it overthinks everything
핵심 요약
똑똑해진 AI 모델들이 과도한 검증 과정으로 인해 작업 속도가 느려지고 비효율적인 루프에 빠지는 현상에 대한 고찰.
- 과도한 검증 — 모델이 작업 전 불필요한 데이터 확인을 반복함
- 성능 저하 — 검증 루프 때문에 작업 시간이 길어지고 컨텍스트가 낭비됨
- 리스크 관리 — 작업 중요도에 따른 검증 수준 조절이 필요함
- 사용자 경험 — AI의 신중함이 오히려 작업 효율을 떨어뜨리는 역설적 상황
거대한 코딩 프롬프트가 유행하던 시절을 놓쳐버렸다. 그때는 그냥 Copilot으로 자동 완성이나 자잘한 작업이나 돌리는 게 다였거든. 파일 몇 개 읽혀서 코드 짜게 하는 정도였지.
그러다 Opus 4.6 나올 때쯤부터 CC를 쓰기 시작했고, 점점 더 많은 권한을 줬다. 그러다 SOL이 나왔는데, 내가 쓰는 제공업체에서 더 싸게 먹히기도 하고, Codex는 일일이 승인 안 눌러도 파이썬 코드를 바로바로 실행할 수 있어서 갈아탔지.
근데 한 달 정도 써보니까, 오히려 작업 속도가 더 느려진 기분이다.
SOL이나 Opus 5 이 새끼들은 뭘 쓰기도 전에 데이터가 유효한지 확인하느라 세월아 네월아 한다. 파일 열고, 용량 체크하고, 경로 확인하고, 구조 파악하고, 그러고 나서 또 확인하고. 데이터 문제없으니까 그냥 코드나 짜라고 말해도, 결국 돌아오는 건 이런 식이다.
"맞아요! 제가 착각했네요. 평균 피처 계산할 때는 spawn이 필요 없죠..."
"더 간단한 버전으로 다시 짜볼게요:"
아니면 시각화 스크립트 좀 수정해달라고 하면, 일단 ID 이미지랑 피처 찾는다고 한 바퀴 돌고, 다 찾았다 싶으면 심볼릭 링크를 엉뚱하게 걸어버려서 또 확인 작업 들어간다.
이런 일이 하도 자주 일어나니까 체감이 확 된다. 코드 몇 줄 뽑으면 끝날 작업이 10분씩 걸리고, 작업 두세 번만 더 하면 벌써 컨텍스트 압축되기 시작함.
모델이 똑똑해질수록 더 방어적으로 변하고, 쓸데없는 확인 절차만 늘어나는 것 같다.
예전에는 AI한테 뭘 해야 할지 알려주려고 긴 프롬프트를 썼는데, 이제는 뭘 하지 말아야 할지 알려주려고 프롬프트를 쓰고 있다.
