파일 시스템은 AI 에이전트를 위한 새로운 기본 단위인가

파일은 개인용 제2의 뇌나 소규모 프로젝트 같은 중소 규모 솔루션엔 아주 좋아. 하지만 규모가 커지면 대규모 데이터셋을 효율적으로 인덱싱, 검색, 정렬하는 문제를 피할 수 없을 거야. 지금까지 데이터베이스 솔루션이 만들어진 데에는 다 그만한 이유가 있었고 지금도 유효하지. 물론 파일로 작업하는 현재 모델들의 능력이 뛰어나서 특정 작업을 훨씬 간단하게 만들 수 있다는 사실은 부정할 수 없지만.

에이전트 두 개가 같은 파일을 건드릴 수 있게 되면 Git이 훨씬 나은 선택이지. 규칙 하나 더 추가하자면, 임시 파일에 쓰고 fsync 후 이름 변경하고 커밋하는 방식을 써야 해. 그래야 프로세스가 죽어도 유효해 보이는 반쪽짜리 문서를 안 남기지. 에이전트 ID, 타임스탬프, 소스 작업이 담긴 작은 매니페스트도 있으면 출처 추적도 가능할 거고.

일리가 있음. 모델들이 커맨드 라인 작업을 워낙 많이 학습해서 거의 본능 수준임. 파일 은유가 깊게 박혀있지. 근데 데이터가 방대해지면 어떻게 될지 궁금함. grep이나 cat이 감당 안 되는 지점이 올 것 같거든.

맞아, 규모 문제가 핵심이지. 어느 순간부터는 그냥 단계를 추가한 데이터베이스를 재발명하는 꼴이 될걸.

파일 시스템이 제공하지 않는 건 동시성 문제야. 에이전트가 여러 개 돌아가기 시작하면 바로 문제가 터지지. 트랜잭션도 없고 아무도 신경 안 쓰는 락도 없어. 나중에 쓴 놈이 이기고, 반쯤 쓰다 만 파일은 완성된 파일이랑 똑같이 보임. 우린 마크다운 볼트 하나를 에이전트 두 대가 동시에 쓰게 했는데, 결국 파일 시스템으로 다루는 걸 포기하고 Git 레포로 바꿨어. 편집 전에 Pull 하고, 끝나면 Commit 하고 바로 Push 하는 식으로.