코딩 에이전트 다음은 GUI 에이전트가 AI의 차세대 인터페이스가 될까?

접근성 트리(accessibility tree)가 이 시대에 큰 도움이 됐을 텐데, 아쉽게도 접근성 표준을 제대로 지키는 웹 제품이 별로 없음. 결국 UI라는 개념 자체가 지금 우리가 아는 것과는 완전히 달라질 거임. 지금의 UX 방식은 디지털 환경에서 현실 세계의 상호작용을 흉내 내려고 설계된 거라, 에이전트가 웹 상호작용을 관리할 때쯤이면 그런 방식은 딱히 필요 없어질 듯.

동감함. 장기적으로 에이전트가 소프트웨어의 주 사용자가 되면 UI는 지금이랑 완전히 달라질 거임. 지금의 인터페이스는 에이전트가 아니라 인간의 인식과 수동 조작에 최적화되어 있으니까. 하지만 과도기에는 에이전트도 어쩔 수 없이 지금의 지저분한 웹/모바일 UI 안에서 돌아가야 함. 그래서 하이브리드 시스템에 관심이 가는 거임. 시각/상태 이해를 위한 VLM, 그리고 가능할 때 쓰는 접근성/API 신호 같은 거.

솔직히 VLM만 쓰는 건 지금 너무 잘 깨짐. 접근성 트리가 더 안정적이긴 한데 맥락이 부족해서 하이브리드가 나음(구조는 트리, 이해는 VLM). 그리고 강력한 검증 루프가 없으면 금방 고장 남. 데모 말고 실제로 쓰려면 이게 유일한 방법인 듯.

GUI 에이전트가 자연스러운 다음 단계인 게, 현실 세계의 워크플로우 대부분이 인간들이 보편적이라고 착각하는 깔끔한 API가 아니라 지저분한 앱 안에서 돌아가니까. 하이브리드가 이길 듯: 구조와 신뢰성을 위해 접근성 트리, 시각적 맥락이나 팝업, 레이아웃 변경 같은 이상한 예외 상황을 위해 VLM.

하이브리드 방식이 맞는데, 빠진 건 검증 단계라고 봄. 브라우저 에이전트 워크플로우에 Camoufox를 쓰는데, 잘 깨지는 건 단순히 "버튼을 볼 수 있냐"가 아님. 로그인 상태인지, 프로필이 다른 데몬에 잠겼는지, 클릭이 제대로 됐는지, UI가 업데이트됐는지 아니면 그냥 낡은 성공 화면인지 같은 지루한 상태 관리 문제임. VLM은 이상한 시각적 상태에 유용하고, 접근성/DOM/트리 데이터는 안정적인 타겟에 더 좋음.