업데이트: 소형 모델의 절차적 기술 전이 테스트에 대한 첫 수동 결과
Update: First Manual Results from Testing Procedural Skill Transfer in Small Models
핵심 요약
대형 모델의 계획 수립 방식을 스캐폴드로 활용해 소형 모델의 결과물 구조를 개선하는 실험을 진행했습니다.
- 절차적 기술 전이 — 대형 모델의 계획 수립 방식을 스캐폴드로 만들어 소형 모델에 적용함
- Three.js 테스트 — 시각적 구조가 명확한 Three.js 코드를 통해 모델의 계획 능력을 검증함
- 구조적 개선 확인 — 스캐폴드 적용 시 소형 모델이 더 나은 장면 구성과 조명, 구조를 보여줌
- 추후 과제 — 블라인드 테스트를 통해 스캐폴드가 재사용 가능한 절차인지 검증할 예정임
어제 거대 모델이 파인튜닝 없이도 절차적 기술을 작은 모델한테 전수할 수 있는지 테스트하는 아이디어를 올렸었음.
핵심은 이거임:
작은 모델들도 지식이 아예 없는 건 아님. 문법도 알고, 라이브러리도 알고, 기본적인 작업 이해도도 있음. 문제는 결과물이 너무 얕다는 거임. 계획, 계층 구조, 분해, 시각적 구조, 그리고 큰 모델들이 자연스럽게 보여주는 단계별 훈련 같은 게 다 생략됨.
그래서 이 차이가 확실히 드러나는 테스트를 해보고 싶었음.
그게 바로 Three.js를 쓴 이유임.
일반적인 코딩 작업은 모델이 장황한 설명이나 익숙한 패턴 뒤에 약점을 숨길 수 있음. 근데 Three.js는 렌더링 결과가 실제 구조를 그대로 까발려버림. 모델이 지오메트리, 카메라, 조명, 비율, 계층 구조, 구도를 제대로 계획하지 않으면 결과물이 바로 개판으로 나오거든.
실험은 두 가지 도메인으로 진행했음.
첫 번째는 복잡한 캐릭터 씬: 여러 캐릭터가 등장하고, 애니메이션, 조명, 무대 구성, 영화 같은 연출이 들어간 스릴러 스타일의 안무 씬.
두 번째는 완전히 다른 도메인: 실루엣이 뚜렷한 로우 폴리곤 BMPT-72 포탑.
둘 다 Three.js를 쓰지만 성격은 완전히 다름. 하나는 캐릭터, 포즈, 안무, 환경, 무대 연출이 핵심이고, 다른 하나는 기계적인 형태, 포탑 구조, 무기, 실루엣, 객체 비율이 핵심임.
내 아이디어는 씬 자체를 옮기는 게 아니라, 그 '과정'을 옮기는 거였음.
간소화된 프로토콜은 이거임:
A = larger model
B = smaller model
P1 = source prompt
P2 = target prompt
S = procedural scaffold
첫 번째:
A + P1 -> D1A
A + P2 -> D2A
B + P1 -> D1B
B + P2 -> D2B
그다음, 더 큰 모델이 첫 번째 도메인에서 작은 모델이 보인 약점을 바탕으로 스캐폴드(scaffold)를 만듦:
A + P1 + code/render of D1B -> S
여기서 중요한 규칙은 S를 만드는 모델이 P2를 보지 못하게 하고, D2A도 보지 못하게 하며, 타겟 도메인 테스트가 뭔지도 모르게 하는 거임.
그다음 작은 모델을 다시 돌림:
B + S + P1 -> D1B_S
B + S + P2 -> D2B_S
진짜 궁금한 건 이거임:
D2B_S is closer to D2A than D2B was
다시 말해, 정답을 보여주지 않은 상태에서 스캐폴드가 다른 작업에 대해 작은 모델의 성능을 향상시켰는가?
