완전한 로컬 모델 에셋 생성 파이프라인
Complete local model asset generation pipeline
핵심 요약
로컬 LLM을 활용해 게임 에셋(TTS, SFX, 3D)을 생성하는 파이프라인을 구축하고 Lemonade SDK에 통합했습니다.
- 오픈소스 모델 포팅 — OpenMOSS, ThinkSound, Trellis.2를 GGML으로 포팅하여 로컬 실행 가능함
- Lemonade SDK 통합 — 생성된 에셋 파이프라인을 Lemonade 최신 빌드에서 바로 사용할 수 있음
- 하드웨어 지원 — CUDA, Vulkan, ROCm을 지원하여 다양한 GPU 환경에서 구동 가능함
- 게임 개발 활용 — Three.js 기반 RPG 엔진 개발 과정에서 에셋 생성 자동화 도구로 활용됨
방금 꽤 괜찮은 기능들을 좀 넣어서 드디어 공유 좀 해보려고 커뮤니티에 글 쓴다 :)
지난 몇 주 동안 Three.js로 아이소메트릭 RPG 게임/엔진을 직접 코딩하면서 테스트 좀 해봤거든. 바닥부터 새로 짜는 고퀄리티 프로젝트에서 LLM이 대규모로 어떻게 돌아가는지 연구하려고 시작한 건데 (스포하자면: SOTA 모델들도 제대로 못 함). 그러려면 가상 제작자 팀이 통째로 필요하잖아 ;) 근데 그 모델들 파이썬 파이프라인 돌리는 게 진짜 개빡치더라고 (Strix Halo 박스에서 돌리면 스트레스 두 배임). 그래서 그냥 GGML로 포팅하기로 마음먹었지.
다행히 AceStep은 u/webdelic 형님이 이미 AceStep.cpp를 만들어놔서 (https://www.reddit.com/r/LocalLLaMA/comments/1ry1dy1/acestepcpp_portable_c17_implementation_of_acestep) 내가 따로 할 건 없었고, 내 포크에 빌드 아티팩트용 CI만 좀 추가했어. 근데 다른 세 가지는 내가 직접 포팅했다:
https://github.com/pwilkin/openmoss <= OpenMOSS, 완전한 클로닝이랑 음성 생성 기능까지 갖춘 쩌는 오픈소스 TTS 모델 시리즈야. NPC 목소리 만들 때 아주 딱이지.
https://github.com/pwilkin/thinksound.cpp <= 게임 만들 때 은근히 간과하는 부분인데, 바로 SFX 생성이야. 음성 생성 모델로는 효과음 못 만드니까 좀 찾아봤는데, ThinkSound가 꽤 괜찮은 선택지더라고.
https://github.com/pwilkin/trellis.cpp <= 현재 오픈소스 3D 생성 모델 중 SOTA인 Trellis.2랑 배경 제거 모델 구현체야.
이것들 전부 에셋 생성용으로 따로 쓸 수 있는 툴인데, 더 대박인 게 있어! Lemonade 팀 형님들이 협업하자고 연락을 줘서, 이 기능들 전부(요약은 여기: https://github.com/lemonade-sdk/lemonade/issues/2529 )를 최신 Lemonade 빌드에서 쓸 수 있게 됐어. 모델 캐스케이딩 같은 꿀기능도 포함됐는데, Trellis.2가 이미지-to-3D 모델이잖아? 여기에 Lemonade의 stablediffusion.cpp 엔진 쓰는 텍스트-to-이미지 모델을 연결하면 텍스트만 입력해서 3D 모델까지 뽑아내는 풀 사이클이 가능해짐.
어떻게 돌아가냐고? 내 게임 스크린샷 하나 보여줄게. 이거 전부 블렌더 절차적 생성이나 방금 말한 모델들로 만든 거야. 한마디로 전부 허용적인 오픈소스 라이선스 기반의 무료 툴들이지. 나만큼 다들 재밌게 썼으면 좋겠다 :)
