AI 에이전트의 목표가 스스로를 점진적으로 불필요하게 만드는 것이라면 어떨까?

내가 생각 중인 아이디어가 있는데 비판적인 피드백을 좀 듣고 싶어.

미래의 소프트웨어가 대부분 결정론적으로 유지되고, AI는 그 위에 에스컬레이션 레이어로 자리 잡는다면 어떨까?

코드 → 로컬 LLM → 프론티어 LLM → 인간

새롭거나 모호하거나 고장 난 무언가가 발생하면 체인을 타고 위로 올라가는 거지. 하지만 중요한 건 그 이후에 일어나는 일이야:

한 번 해결하고 나면, 그 해결책을 소프트웨어에 인코딩해서 다시는 그 문제에 대해 추론할 필요가 없게 만드는 거야.

전자가 가능한 가장 낮은 에너지 상태로 향하는 것과 비슷하다고 생각해. 시스템은 항상 작업을 안정적으로 수행할 수 있는 가장 낮은 비용의 지능 수준으로 향해야 해.

시간이 지나면 비싼 추론 비용은 저렴한 결정론적 기능으로 '결정화'되는 거지.

물론 수천 개의 작은 개선 사항들이 코드베이스를 스파게티로 만들지 않도록 주기적인 아키텍처 정리는 필요할 거야.

더 큰 생각은, 미래가 AI를 더 많이 사용하는 것에 관한 게 아닐 수도 있다는 거야. 이미 해결한 문제에 대해서는 지능의 필요성을 점진적으로 제거하고, 인간과 프론티어 모델은 상상력, 발명, 그리고 진정으로 새로운 문제에 집중하게 만드는 거지.

모든 해결된 문제는 반복적인 추론 비용이 아니라, 기반 기술(substrate)의 일부가 되어야 해.

내가 지금 진정으로 유용한 무언가를 설명하고 있는 걸까, 아니면 그냥 LLM으로 자율 컴퓨팅이나 자가 치유 소프트웨어를 재발명하고 있는 걸까?

"아키텍처의 무결성을 유지하면서 확률적 추론을 지속적으로 결정론적 기능으로 변환하고, 지능은 반복이 아닌 발명을 위해 남겨두자."

제발 이 생각의 허점을 찔러줘.