Claude 작업 시 .mp4 대신 91% 비용 효율적인 오픈 소스 .cdaf 포맷을 사용하기로 함
I am ditching .mp4 for use with Claude. Instead use an oss .cdaf (AI-friendly) format for 91% cost efficiency
핵심 요약
Claude의 비디오 편집 효율을 높이기 위해 토큰 사용량을 91% 절감하는 오픈 소스 .cdaf 포맷을 개발함.
- .cdaf 포맷 개발 — 비디오의 시각적 설명을 캐싱하여 토큰 사용량과 비용을 획기적으로 절감함.
- 효율성 개선 — 벤치마크 결과 토큰 비용 91%, 지연 시간 65% 감소를 확인함.
- 작동 방식 — 원본 .mp4 파일과 연결된 시각적 설명 데이터를 통해 Claude가 필요한 장면만 선택하도록 함.
- 오픈 소스 공개 — 누구나 사용할 수 있도록 관련 평가 및 벤치마크 자료를 공개함.
zenodo.org
원문 사이트로 이동
Claude로 영상 편집해 본 적 있으면 이미 왜 그런지 알 거다.
.mp4는 결함이 많거든. 영상 파일 통째로 Claude 컨텍스트에 집어넣어서 편집하라고 시키는 건 그냥 불가능해. B-roll, 원본 푸티지, 에셋, SVG 같은 것들 말이야.
3분짜리 4k나 1080 영상만 해도 토큰을 최소 10만 개는 잡아먹어. 한두 번만 왔다 갔다 하면 바로 제한 걸려버리지.
게다가... 지연 시간은 엄청나게 늘어나고 정확도랑 효율은 기하급수적으로 떨어져.
이 상황에서 hyperframes나 remotion 쓰는 게 쉽다고 생각한다면, 뭐... 행운을 빈다!
그래서 내가 .cdaf, 즉 '캐시된 설명 에셋 파일(cached descriptive asset file)' 포맷을 오픈소스로 풀었어. 이건 영상의 sha256 암호화된 타임스탬프 기반 시각적 설명을 저장하고, 그걸 원본 .mp4 파일이랑 연결해 주는 방식이야.
Claude가 영상을 써야 할 때마다 .cdaf 파일을 읽어서 어떤 장면을 가져올지, 길이는 얼마나 할지 파악한 다음에 편집을 이어가는 거지.
벤치마크 테스트 결과는 이래.
- 토큰 및 비용 91% 절감
- 지연 시간 65% 단축
자세한 건 evals & bench에 다 있으니까 확인해 봐.
한번 써보고 궁금한 거 있으면 물어봐.
