Claude Code가 영상을 분석할 수 있게 해주는 플러그인

Claude는 기본적으로 영상이나 오디오 입력을 받지 않기 때문에, 영상 내용을 Claude에게 보여주고 싶을 때마다 수동으로 프레임을 캡처하고 오디오를 따로 전사해야 했습니다. 정말 번거로운 일이었죠.

그래서 저는 인식 계층을 처리하는 플러그인인 claude-video-vision을 만들었습니다. Claude는 이미지 형태의 프레임과 타임스탬프가 포함된 오디오 전사본을 받게 되며, 여러분은 그냥 영상에 대해 질문하기만 하면 됩니다.

작동 방식

• 프레임은 질문에 따라 **적응형 FPS(adaptive fps)**로 추출되며, Claude가 직접 속도를 선택합니다.
• 오디오는 3가지 백엔드 중 하나를 선택하여 처리합니다:
  • Gemini API: 네이티브 오디오 이해(음성 + 음악 + 기침 소리 + 동물 소리까지 감지), 하루 1500회 요청 무료 티어 제공
  • Local Whisper: 완전 오프라인, 처음 사용할 때 모델 자동 다운로드
  • OpenAI Whisper API
• Claude는 프레임과 전사본을 함께 받아 하나의 정보로 추론합니다.

사용 예시

/watch-video demo.mp4
/watch-video tutorial.mp4 "이 사람이 사용하는 언어가 뭐야?"

혹은 대화하듯이 파일을 언급하기만 해도 됩니다("bug-report.mov의 첫 1초를 봐줘"). Claude가 FPS, 해상도, 시간 범위를 자동으로 조정합니다. "1시간짜리 강의 요약해줘"라고 하면 "1분 30초에 화면에 뭐가 나와?"라고 물을 때와는 다른 방식으로 프레임을 추출합니다.

활용 분야

• 버그를 말로 설명하는 대신 화면 녹화본으로 디버깅
• 튜토리얼, 강연, 회의 녹화본 요약
• 영상 프레임에 보이는 텍스트나 코드 추출
• "X가 발생하기 직전에 무슨 일이 일어났어?"와 같은 질문을 통해 녹화된 버그나 데모 분석

설치 방법

Claude Code 내에서 하나씩 실행하세요:

/plugin marketplace add https://github.com/jordanrendric/claude-video-vision
/plugin install claude-video-vision
/setup-video-vision

대화형 설정 과정을 통해 백엔드를 선택하고 의존성을 확인하게 됩니다.

100% 무료 및 오픈소스

저장소: https://github.com/jordanrendric/claude-video-vision

페이월, 계정 요구, 텔레메트리 수집 없습니다. MIT 라이선스입니다. 이슈, PR, 피드백, 엣지 케이스 등 어떤 기여든 환영합니다.

리눅스나 윈도우에서 시도해보신 분들은 어떤지 알려주세요. 저는 아직 macOS에서만 테스트해봤습니다.