Claude에게 눈을 달아줬습니다: 안드로이드 카메라로 실제 하드웨어와 디스플레이를 볼 수 있게 하는 기술 - UI 수정 중 완전 자율 모드 작동

저는 사지마비 장애를 가진 개발자입니다. Claude Code가 ESP32 프로젝트를 처음부터 끝까지 완성할 수 있을지 궁금했습니다. 결과는 성공적이었죠. 펌웨어, 릴레이, OTA, 자체 테스트까지 전부 해냈습니다. 하지만 저를 감동시킨 순간은 따로 있었습니다. 작은 디스플레이에 텍스트가 잘못 출력되고 있었는데, Claude가 낡은 휴대폰 카메라로 화면을 직접 보고 텍스트가 깨진 걸 확인한 뒤, 폰트 버그를 찾아내고 폰트를 교체해서 재플래싱까지 마친 겁니다.

그전까지는 "Claude가 보드를 보게 한다"는 게 정말 고통스러운 수동 작업의 반복이었습니다. 스크린샷 찍기 → 왓츠앱으로 나에게 보내기 → 다운로드 → Claude Code에 붙여넣기. 매번 이랬죠. 그래서 이걸 하나의 기술로 만들었습니다: claude-code-eyes.

작동 방식: 스냅샷을 찍을 수 있는 카메라(IP Webcam 앱을 설치한 안드로이드 폰, 라즈베리 파이 카메라, 혹은 그 어떤 스냅샷 URL이라도 좋습니다)를 보드나 브레드보드, 디스플레이에 비추기만 하면 됩니다. 그러면 Claude가 프레임을 가져와 다른 파일처럼 읽고, 편집하고, 재플래싱하고, 다시 확인합니다. 유닛 테스트로는 절대 잡을 수 없는 문제들, 예를 들어 폰트가 문자를 누락하거나, 텍스트가 패널 가장자리에서 잘리거나, 전선이 잘못된 구멍에 꽂혀 있거나, 화면이 갱신되지 않는 문제들을 Claude가 이렇게 잡아냅니다.

제가 가장 자랑스럽게 생각하는 부분은, 이 도구가 자신이 무엇을 볼 수 있고 무엇을 볼 수 없는지 알도록 설계되었다는 점입니다. 흐릿하거나 너무 멀리 떨어진 프레임은 거부하고, 추측하는 대신 더 가까이 대달라고 요청합니다. 또한 빈 프레임이 들어오면 '아니오'라고 판단하는 대신 '카메라가 제대로 작동하는지 증명하라'고 요구합니다. (이건 뼈아픈 경험에서 나온 기능입니다. 예전에 tcpdump가 설치되지도 않았는데 '깔끔한' 캡처를 보내주며 자신 있게 틀린 결론을 내놓은 적이 있었거든요.)

약 100줄의 bash 스크립트와 SKILL.md 파일로 구성되어 있습니다. MIT 라이선스고요. 명령어 하나로 설정이 가능하며, LAN을 스캔해서 IP Webcam을 자동으로 찾을 수도 있습니다.

데모 (25초) + 저장소: https://github.com/fcavalcantirj/claude-code-eyes

트리거 문구, 설정 방법, 혹은 시각적 검증 워크플로우에 대해 궁금한 점이 있다면 언제든 환영합니다.