단일 GPU에서 작동하는 오픈소스 '원 프롬프트 시네마틱 릴' 파이프라인 구축 — FLUX.2 [klein], Wan2.2-I2V, 비전 크리틱 활용

AMD x lablab 해커톤을 위해 이 프로젝트를 완성했습니다. 첨부된 영상은 파이프라인이 실제로 생성한 릴 중 하나입니다. 영어 문장 하나를 입력하면 캐릭터, 스토리, 음악, 보이스오버가 포함된 mp4 파일이 출력됩니다(빠른 데모 영상이라 품질이 최고는 아닙니다). 단일 AMD Instinct MI300X에서 엔드투엔드로 약 45분이 소요됩니다. 모든 모델은 Apache 2.0 또는 MIT 라이선스입니다.

파이프라인 (8단계, 동일 GPU에서 순차 실행):

1. Director Agent - Qwen3.5-35B-A3B (vLLM + AITER MoE)가 문장 하나를 받아 6개의 샷을 계획하고, 캐릭터 바이블, 샷 프롬프트, 음악 브리프, 샷별 보이스오버 스크립트, 내레이션 언어가 포함된 구조화된 JSON을 반환합니다.
2. Character masters - FLUX.2 [klein]이 캐릭터당 하나의 표준 초상화를 그립니다. LoRA 학습 단계 없음 - 참조 편집을 통해 샷 전체에서 일관된 캐릭터 정체성을 유지합니다.
3. Per-shot keyframes - 참조 이미지를 사용하여 FLUX.2로 다시 생성합니다. 워밍업 후 키프레임당 1초 미만 소요됩니다.
4. Animation - Wan2.2-I2V-A14B, 81프레임 @ 16fps 네이티브. cut:false 연속 아크를 위한 FLF2V 사용(샷 N의 마지막 프레임이 샷 N+1의 첫 프레임을 고정).
5. Vision critic - 동일한 Qwen3.5-35B를 다시 로드하여 10가지 구조화된 실패 라벨(캐릭터 드리프트, 엑스트라 침범, 카메라 무시, 뒤로 걷기, 객체 변형, 손/손가락 아티팩트, 의상 드리프트, 네온 글로우 누출, 스타일화된 AI 느낌, 무작위 친밀감)을 검사합니다. 불량 클립은 타겟팅된 재시도 전략(다른 시드, FLF2V 앵커, 프롬프트 단순화)으로 다시 렌더링합니다.
6. Music - ACE-Step v1이 디렉터의 브리프를 바탕으로 30초짜리 연주곡을 생성합니다.
7. Narration - Kokoro-82M, 9개 언어 지원. 디렉터가 배경에 맞는 언어를 선택합니다(도쿄→일본어, 파리→프랑스어, 뭄바이→힌디어).
8. Mix - ffmpeg을 사용하여 adelay로 샷별 보이스오버를 정렬합니다.

Wan 2.2 세부 사항 (이 서브레딧에서 관심 가질 부분):

• 1280×720 해상도, 기본값인 640×640이 아님. 비용은 더 들지만 제작자가 원하는 사양임.
• 24fps에서 121프레임은 첫 시도였으나 시간적 떨림(rippling)이 발생함. 16fps에서 81프레임(Wan이 학습된 분포)으로 전환하여 해결함.
• flow_shift = 5 (주요 샷), 8 (B-roll) (업스트림 wan_i2v_A14B.py 기본값).
• 부정 프롬프트: shared_config.py의 . umT5가 해당 토큰들에 대해 다국어 사전 학습됨. 영어 번역은 눈에 띄게 성능이 떨어짐.