내 목소리로 가상 세계 만들기 - A-Frame (Three.js, WebXR) + Claude Code
Building a world with my voice - A-Frame (Three.js, WebXR) + Claude Code
핵심 요약
VR 헤드셋을 착용하고 음성 명령만으로 가상 환경을 실시간으로 구축하는 혁신적인 프로젝트입니다.
- 음성 기반 구축 — 마이크를 Claude Code와 연결해 VR 환경 내에서 코드를 직접 수정함
- 기술 스택 활용 — A-Frame, Three.js, WebXR을 결합하여 가상 세계를 생성함
- 성능 한계 — 현재는 모델의 추론 속도와 지연 시간 문제로 복잡한 작업에 시간이 소요됨
- 미래 가능성 — 모델 성능이 향상됨에 따라 상상하는 즉시 세계가 구현되는 환경을 지향함
이건 A-Frame(Three.js, WebXR)으로 만든 프로젝트인데, VR 헤드셋을 쓴 상태에서 내 목소리만으로 가상 세계를 구축할 수 있게 해준다. 마이크를 Claude Code에 연결해 놨고, 이게 프로젝트 코드베이스를 직접 건드리는 방식이야.
에이전트가 코드를 직접 수정하니까 할 수 있는 게 엄청 많아. 사실상 기반이 되는 LLM이 WebXR로 어디까지 구현할 수 있느냐에 따라 한계가 결정되는 수준이지. 에이전트가 요청만 받으면 간단한 오브젝트부터 애니메이션, 상호작용 기능, 심지어는 전체 환경까지 싹 다 만들어낼 수 있어.
물론 아직 완벽하진 않아. 지연 시간이 꽤 길거든. 요청이 얼마나 복잡하냐에 따라 다르지만, 변경 사항 하나 적용하는 데 1분에서 몇 분씩 걸리기도 해. 코드베이스도 지금은 최상위 모델이 아니면 제대로 돌아가질 않아. 내가 테스트해 본 바로는 Haiku나 Sonnet 같은 모델은 따라오질 못하고, Opus 5도 추론(reasoning) 설정을 최소 'Low' 이상으로 둬야 겨우 작동해(영상 대부분은 Opus 5 Low로 찍은 거야).
그래도 일단 기반은 마련됐고, 모델들이 발전하면 금방 엄청나게 쓸만해질 것 같아. VR 헤드셋을 쓰고 말 한마디로 원하는 세상으로 이동하고, 내 창의적인 비전에 맞춰 그 세상을 빚어내고, 내 주변으로 그 세계가 실제로 구현되는 걸 지켜보는 상상, 다들 한 번쯤 해봤잖아? 이제 그게 아주 작은 부분이지만 현실이 됐어.
