3D 에셋 제작의 'Lovable'을 바이브 코딩으로 구현함 (업데이트)
Vibe Coded the Lovable of 3D Asset Creation (Update)
핵심 요약
AI를 활용해 3D 에셋을 정밀하게 제작하고 편집할 수 있는 전용 엔진을 개발 중인 작성자의 업데이트 글.
- AI 3D 엔진 — AI가 3D 에셋을 생성하고 편집할 수 있는 전용 엔진 개발 중
- 정밀도와 편집성 — 기존 AI 툴과 달리 수정이 가능하고 생산 환경에 적합한 결과물 지향
- 오픈 소스 계획 — 수익 창출보다는 기술 공유와 피드백을 목적으로 오픈 소스화 예정
- 기술적 한계 — 작성자가 코드 구조를 깊이 이해하지 못한 채 AI에 의존해 개발한다는 점에 대한 비판 존재
AI로 3D 에셋 만드는 걸 더 개선하고, 수정 가능하게 만들고, 신뢰할 수 있게 만들 수 있는지 테스트 중이다.
그래서 AI가 3D 에셋을 만드는 데 쓸 엔진을 하나 만들었다. AI를 위한 마야(Maya) 같은 거라고 보면 된다. AI가 이 엔진을 써서 모든 걸 만들고 렌더링까지 다 한다.
요트 만드는 3일 차인데, 만드는 와중에 엔진도 계속 업데이트 중이다. 요트 부품을 딱 찍어서 AI한테 이거 바꿔달라고 하면 웬만하면 다 알아먹는다. 참고 이미지 주거나 그냥 프롬프트만 입력해도 잘 돌아감.
에디터는 거의 다 됐는데, 지금 다른 AI 인스턴스 하나 더 돌려서 내부 가구 만들게 시키는 중이다. 둘이 서로 소통하면서 작업하게 해놨음.
에셋 만드는 건 대부분 Claude Opus 5를 썼고, 엔진 만드는 데는 또 다른 놈을 썼다.
물론 반복 작업하느라 토큰 엄청나게 잡아먹긴 하는데, 애초에 왜 AI가 한 방에 모든 걸 다 끝내야 한다고 생각하는 거지?
어쨌든 내 목표는 qwen3.8 27b 같은 로컬 모델이 프론티어 모델 자리를 대신해서 똑같은 결과물을 뽑아내게 만드는 거다.
결국 중요한 건 모델 자체가 아니라, 그 주변을 감싸는 시스템이랑 아키텍처라는 걸 테스트하면서 깨닫는 중이다. 내가 만든 엔진이 그 증거고.
지금 오케스트레이션 레이어랑, playwright에서 영감받은 스크린 비전 시스템을 구축하고 있다. 로컬 모델을 파인튜닝해서 주변 아키텍처만으로 프론티어 모델 성능의 80~90%까지 끌어올리는 게 목표임. 내가 만드는 거 관심 있으면 말해줘. 공유하고 싶으니까.
다들 어떻게 생각함? 피드백 좀.
