3D 모델링에 활용하는 Claude Opus 5.5

Opus가 오케스트레이션을 맡게 하면, 비용 절감을 위해 다른 모델 제공업체의 에이전트들을 조율하게 할 수도 있습니다. 방금 Google의 harness2 설정으로 실험을 좀 해봤는데, Opus와 Qwen 3.8 27b를 조합해서 여러 라운드를 돌려보니 이제 Qwen이 예전에는 항상 망치던 작업들을 안정적으로 처리할 수 있게 되었습니다. Blender 작업 훈련을 시작했는데, 대부분의 테스트에서 실패하던 것이 이제는 모두 통과하더군요. 꽤 흥미롭습니다.

이제 Blender용 플러그인도 있어서 여러 에이전트가 하나의 Blender 파일에서 서로 다른 부분을 작업하게 할 수도 있습니다. 저는 제 사용 사례에 맞춰 직접 만들었는데 작업 속도가 엄청나게 빨라졌습니다. 모델링하려는 대상을 먼저 사진 측량(photogrammetry)으로 얻은 다음, Blender에서 3D 레퍼런스 레이어로 활용하는 방식이 큰 도움이 됩니다.

Unreal Engine의 메타휴먼 헤드를 Blender로 복사해와서 레퍼런스 이미지를 보고 만든 겁니다.

저는 고전 SEGA 게임을 현대화하는 작업을 하고 있습니다. 제 워크플로우가 꽤 독특해서 조언을 좀 얻고 싶은데, DM을 드려도 될까요?

먼저 Claude에게 해당 게임에 대한 조사를 엄청나게 시키세요. 그다음 모든 에셋에 대한 레퍼런스 이미지를 만드세요. Claude에게 게임에 필요한 모든 에셋 목록을 나열하게 하세요. Claude가 토폴로지에 신경 쓰도록 해야 합니다. 그런 다음 모든 것이 작동할 때까지 Godot 엔진에서 프로토타입을 만드세요. (Godot에서 어떻게 보이는지는 중요하지 않습니다.) 작동이 확인되면 프로젝트를 Unreal Engine이나 Unity로 마이그레이션하세요. 연구용으로는 Ultracode를 사용하고, 다른 게임 엔진으로 마이그레이션할 때도 필요하다면 Ultracode를 사용하겠습니다. Godot에서 시작하는 이유는 Claude가 Godot에서 게임 프로토타입을 훨씬 더 빠르게 만들 수 있기 때문입니다. 모든 설정이 끝나면 새로운 Claude 세션을 시작해서 검증하게 하세요. 처음부터 애니메이션을 만들지 마세요. 먼저 모든 것에 대한 플레이스홀더를 만들고 게임이 실제로 작동하는지 확인하세요. 3D 모델링과 애니메이션을 바로 시작하면 프로젝트가 꽤 엉망이 될 수 있거든요. 게임이 실제로 작동하면 그때부터 배경과 텍스처를 추가하고, 캐릭터와 에셋 모델링을 시작하세요. 모든 것이 올바른 순서대로 진행되는 것이 정말 중요합니다. 게임이 완성되면 모델, 텍스처, VFX, 에셋(토폴로지)을 다듬기 시작하세요. 그게 제 워크플로우입니다.

2D를 3D로 바꾸는 좋은 워크플로우가 있나요? 특히 유기적이고 비대칭적인 캐릭터나 물체에 대해서요.

네, 보통은 Claude로 넘어가기 전에 ChatGPT의 이미지 생성 기능을 사용해서 무언가를 3D로 만들게 합니다. 그런 다음 제가 원하는 모습을 얻기 위해 이미지를 직접 수정하죠. 비대칭은 Claude가 파이썬 스크립트를 사용해 모델을 만들기 때문에 많은 반복 작업이 필요합니다. 괜찮은 결과가 나올 때까지 Claude가 Blender headless를 구동하게 둔 다음, Blender를 열고 수정이 필요한 정확한 위치의 스크린샷을 Claude에게 보내서 원하는 바를 설명하는 방식을 씁니다.

저도 Claude를 3D 모델링에 사용하고 있지만 전문가는 아닙니다. 당신처럼 Unreal의 메타휴먼을 사용하고 있는데, 스토어에서 산 에셋과 애니메이션이 메타휴먼과 작동하도록 설계되어 있어서 UMA 3도 함께 루프에 넣고 있습니다. 저는 3D 모델링 경험이 없어서 캐릭터 얼굴과 애니메이션을 만드는 게 정말 어려웠습니다. 예를 들어 오크 캐릭터를 만들어달라고 했더니, 얼굴이 뚱뚱하고 녹색인 몽골인 남성에 엄니가 달린 것처럼 나오더군요. 여러 각도의 레퍼런스 이미지를 줬는데도 오크를 화나게 만드는 방법이 그거라고 생각했는지 오크 이마에 부리를 만들어놨더라고요.

애니메이션은 말할 것도 없습니다. 캐릭터가 무기를 잡으려고 등 뒤로 손을 뻗는데 손이 무기 손잡이 모델을 뚫고 지나가거나, 손이 180도 뒤틀려서 잡는 등 난리도 아닙니다. 아무리 반복 작업을 해도 여전히 고전하고 있어요.

Claude에게 제가 방해가 되는 건지, 유료 도구가 필요한 건지, 아니면 직접 도구를 만들어야 하는 건지 물어보기도 했습니다. 이 AI가 당신이 보여준 것과 같은 고품질의 결과를 내놓게 하려고 노력 중인데 우리는 너무나 먼 거리에 있는 것 같아요. Claude로부터 다른 각도의 반복 이미지들을 받고는 있지만, 당신이 만든 모델은 제 것보다 100배는 더 퀄리티가 높아서 이유를 모르겠습니다. 에이전트에게 비전을 제공하는 부분을 제외하면 워크플로우는 비슷한 것 같은데 말이죠. 아, 그리고 저는 Opus Max가 아니라 Medium을 사용했습니다.