Claude에게 내 화면 활동을 기억하게 만들었습니다
I gave Claude a memory of my screen activity
핵심 요약
사용자의 화면 활동을 주기적으로 캡처하고 분석하여 Claude에게 맥락을 제공하는 오픈소스 시스템을 공유했습니다.
- 활동 기억 시스템 — 화면을 주기적으로 캡처하고 분석하여 에이전트에게 맥락을 제공함
- 오픈소스 도구 — Swift로 작성되었으며 MCP를 통해 Claude와 연동 가능함
- 개인화 가능성 — 음성 입력 캡처 및 활동 분석 등 다양한 기능 확장 지원
- 설치 및 사용 — GitHub를 통해 배포되며 설정 메뉴나 명령어로 간편하게 연결 가능함
내가 에이전트 쓰면서 제일 빡쳤던 게 뭐냐면, 이미 남들한테 다 설명한 걸 또 설명해야 하거나, 아니면 내가 가진 모든 정보를 걔네도 다 볼 수 있는데도 불구하고 처음부터 끝까지 다 떠먹여 줘야 한다는 점이었음.
이 꼬라지를 못 봐주겠어서 1년 전쯤에 오픈소스 활동 메모리 시스템을 하나 만들었거든. 이게 주기적으로(꽤 자주) 화면을 캡처해서, 내용을 이해하고 분류하고 그룹화한 다음에, 필요할 때 MCP를 통해 에이전트한테 맥락을 싹 전달해 주는 놈임.
어제 이걸 Swift랑 분류용 System One으로 싹 갈아엎으면서 제2의 전성기를 맞이했는데, 지금 Claude랑 돌아가는 꼴이 너무 마음에 들어서 너희한테도 공유하려고 함 :)
오픈소스니까 개인화할 수 있는 방법은 무궁무진함. 음성 입력을 캡처하는 것부터 시작해서, 내가 어떤 작업에 제일 시간을 낭비하고 있는지 파악하는 것까지 다 가능함. 혹시라도 직접 활동 내역을 확인하고 싶은 사람들을 위해 아주 깔끔한 팝업이랑 메인 앱 UI도 넣어놨음.
설정(Settings)->에이전트(Agents)에서 연결하거나, 아래 명령어를 실행하면 됨:
/Applications/Screencap.app/Contents/MacOS/Screencap mcp install claude-code
MIT 라이선스니까 마음껏 다운받아서 써봐: https://github.com/yahorbarkouski/screencap



