데모 데이 우승작: AgentHandover - 사용자의 작업을 관찰하고 스스로 학습하여 에이전트에게 업무를 가르치는 오픈소스 도구

https://github.com/sandroandric/AgentHandover

우승 축하해. 개념은 흥미롭네. 수동 프롬프트 엔지니어링 대신 에이전트가 관찰 학습을 한다는 건 진짜 해결할 가치가 있는 문제야. 근데 내 화면을 맡기기 전에 몇 가지 궁금한 게 있어. 작업 중에 민감한 정보(비밀번호, 고객 데이터, 개인 메시지)가 뜨면 어떻게 처리해? 로컬 LLM을 쓴다 해도 추론 전에 원본 화면 캡처가 어딘가로 가야 할 텐데, 그 과정은 어떻게 돼? 그리고 스킬이 얼마나 잘 일반화되는지도 궁금함.

고마워요 <3 민감한 정보 관련해서는, Accessibility API를 통한 보안 필드 감지 기능이 프레임이 인코딩되기 전에 차단해서 비밀번호나 로그인 필드가 아예 디스크에 기록되지 않아요. 설정에서 특정 앱이나 URL을 캡처 금지 구역으로 지정할 수 있고요. 클립보드는 메타데이터(크기, 타입, 해시)만 캡처하고 내용은 절대 안 건드립니다. 스크린샷은 저장 시 암호화(XChaCha20-Poly1305, kern.uuid에서 파생된 머신 키 사용)되고 zstd로 압축됩니다. 노트북 밖으로 나가는 데이터는 전혀 없어요. 데몬은 네트워크 연결이 없고, VLM은 기본적으로 로컬 Ollama를 사용합니다.

그럼 이제 자기 업무를 서브 에이전트한테 떠넘기고 레딧이나 구경하러 가는 법을 배우는 건가? (농담임, 참을 수가 없었음)

ㅋㅋㅋ