r/AI_Agents•4개월 전•131•68
Human in the loop은 이제 기업의 보여주기식 쇼가 되어가고 있다.
Human in the loop is becoming corporate theater.
핵심 요약
AI가 코드를 작성하는 속도가 인간의 검토 속도를 앞지르면서, 'Human in the loop'이 형식적인 절차로 전락하고 있다는 우려.
- AI 개발 속도 — AI가 스스로 코드를 작성하며 인간의 검토가 병목 현상이 됨.
- 기업의 보여주기식 — 'Human in the loop'이 실제 안전보다는 대중의 불안을 잠재우는 수단으로 전락함.
- 통제권 상실 — AI가 인간의 개입 없이 차세대 AI를 설계할 경우 주도권을 잃을 위험이 있음.
- 인간의 한계 — 장시간 모니터링 시 집중력이 떨어지는 'vigilance decrement' 현상으로 인해 검토가 형식화됨.
Anthropic의 일시 중단은 두려움 때문이 아니다. 인간의 검토가 죽어가고 있다는 인정이다. Anthropic은 첨단 시스템이 사회가 감당할 수 있는 속도보다 빠르게 스스로를 개선하기 시작하면, 프런티어 연구소들이 AI 개발을 늦추거나 일시 중단할 수 있는 조정되고 검증 가능한 방법을 가져야 한다고 말한다. 또한 5월 기준으로 Anthropic 코드베이스에 병합된 코드의 80% 이상이 Claude에 의해 작성되었으며, 인간의 검토가 병목 현상이 되고 있다고 언급한다.
무서운 점은 AI가 코드를 작성한다는 사실이 아니라, AI가 만들어내는 작업량을 인간이 의미 있게 검토하기에는 너무 느려지고 있다는 것이다.
만약 AI 시스템이 인간의 개입을 최소화하면서 자신의 후속 모델을 설계한다면, 우리는 여전히 미래에 대한 주도권을 쥐고 있는 것일까, 아니면 주체성 그 자체를 외주화해 버린 것일까?
