Claude Code + Meta Quest 3: 궁극의 VR 사무실을 만들었다

다들 안녕, 이번엔 진짜 제대로 미친 짓 좀 했다. 지난 2주 동안 Claude Max 20x 구독 2개랑 ChatGPT Plus 20x 구독 2개를 그냥 갈아 넣어서 Meta Quest용 3D 아이언맨 사무실을 만들었거든. VPS에서 tmux로 Claude Code 세션 돌리고, 차트 띄우고, 우리 서포트 칸반 보드까지 다 연동해서 형이랑 나랑 실시간으로 같이 볼 수 있게 세팅했어.

이 생각은 예전부터 계속 해오던 건데, 저번 주에 드디어 Meta Quest 3 지르고 바로 토큰 쏟아붓기 시작했지.

아이디어는 간단해. 형이랑 나랑 우리 SaaS 제품들 관리하고, 이메일 답장하고, 작업 만들고, 아이디어 스케치하고, 마치 진짜 사무실에 있는 것처럼, 아니 그보다 훨씬 미래지향적인 공간에서 대화하는 거야. Claude Code나 Codex 세션은 VPS에서 돌아가니까 헤드셋 벗어도 계속 유지되고.

물론 브라우저로도 다 보고 제어할 수 있게 해놨어.

그리고 우리 자비스, 이름은 '해리'라고 지었어. 이 녀석이 터미널이랑 방 관리, 리서치, 이메일까지 다 알아서 해. ChatGPT 실시간 음성 모델이랑도 연결해놔서 반응 속도가 진짜 미쳤어.

리서치 테이블도 있는데, 거기서 해리한테 시골 별장이나 최고의 진공청소기 같은 거 찾아달라고 하면 내 LLM이 결과 싹 다 가져와서 비교하기 좋게 보여줘.

기능이랑 첫 버전은 Fable로 만들었고, 3D 렌더링이랑 사무실, 바깥 풍경은 Astra 썼어. 에셋은 전부 Blender로 만들어서 MCP로 연결했고.

터미널에 직접 말 걸 수 있는 모드도 있는데, 이건 로컬에서 돌아가는 faster-whisper로 음성을 텍스트로 변환해.

아, 그리고 Spark-X2.5-4B 기반의 펫 '루모'도 만들었어. 서버에서 돌아가는 40억 파라미터 모델인데, 이 녀석이 알아서 돌아다닐지, 다가올지, 놀지, 쉴지 결정해. 애니메이션이랑 터치 반응은 따로 돌려서 즉각적으로 반응하게 만들었어. 관심 얼마나 주느냐에 따라 표정도 바뀌고, 지금 무슨 생각 하는지 보여주는 작은 디스플레이도 달려있지.

그리고 좀 과하게 나간 감이 없지 않아 있는데, 해리한테 아이언맨 슈트 가져오라고 시킬 수도 있어. 창문 열리면서 슈트 날아와서 몸에 딱 장착되고, 그대로 맨해튼 상공으로 날아가는 거지.

이건 그냥 대략적인 거고, 사실 넣은 게 훨씬 더 많아.

우리가 할 수 있는 것들 싹 다 담은 영상 공유할게. 다들 반응 좋고 써보고 싶다는 댓글 많으면, GitHub에 올려서 공유해 볼 생각이야.