Claude, 로보틱스에 도전하다

테스트는 다양한 방식으로 진행됐다. 여러 언어 모델에 다양한 로봇 몸체의 제어권을 부여했는데, 대상에는 고전적인 제어 장난감부터 시뮬레이션 기반 사족보행 로봇과 휴머노이드, 로봇 팔, 그리고 실제 Unitree Go2(Project Fetch에 등장한 사족보행 로봇)까지 포함됐다. 제어 방식도 추상화 수준에 따라 다양하게 제공했다. 모터 토크를 직접 명령하는 방식(가장 저수준)부터, 컨트롤러 코드 작성, 강화학습으로 컨트롤러 직접 훈련, 사전 훈련된 로봇 정책(고수준 명령을 관절의 협응 동작으로 변환하는 별도의 신경망)에 고수준 조향 명령을 제공하는 방식까지다. 평가는 세 영역에서 이루어졌다. 고전적인 제어 문제(진자 균형 잡기 등), 이동 및 내비게이션(다족 로봇의 균형 유지, 보행, 공간 이동), 그리고 조작(로봇 팔로 물체를 잡아 이동하기)이다.

모델들의 로보틱스 역량은 빠르게 향상되고 있지만, 실제 성능은 로봇과의 연결 방식, 즉 어떤 제어 방법을 사용하느냐에 따라 크게 달라진다. 관절을 직접 구동해야 하는 경우에는 대부분 실패하지만, 사전 훈련된 컨트롤러를 감독하거나 간단한 방향 도구를 활용할 때는 실제 내비게이션과 조작 과제를 완수할 수 있다. 일부 형태의 구현체(embodiment)는 여전히 다루기 어렵지만, 최신 모델들은 전략 조정 능력이 눈에 띄게 향상됐고, 이미지와 감각 정보를 다양한 영역에 걸쳐 적절한 행동으로 변환하는 능력도 상당히 강화됐다.

이는 언어 모델의 안전한 개발과 배포에 중요한 시사점을 던진다. 현재 최전선 모델들은 사전 훈련된 정책 없이 휴머노이드 로봇을 제어하지 못하지만, 최신 모델들은 직접 조작과 고수준 정책 제어 면에서 테스트한 휴머노이드 및 사족보행 구현체 전반에 걸쳐 실질적인 성능 향상을 보였다. 앞으로의 모델은 더 뛰어날 것으로 예상된다. 구체적으로 말하면, 로보틱스 특화 훈련 없이 일반 목적 챗 모델도 운이 따를 경우 사족보행 로봇을 미로 속에서 천천히 걷게 하거나, 조리대에서 접시를 집어 스토브 위에 올려놓는 작업에 필요한 도구를 직접 작성해 다운로드할 수 있는 수준에 이르렀다. 그리고 모델 세대가 거듭될수록 신뢰성의 격차는 좁혀지고 있다.

주요 발견 요약

• 로보틱스 점수는 모델 자체만큼이나 로봇 몸체와 제어 인터페이스에 좌우된다.같은 모델이라도 모터 토크를 직접 설정하느냐, Python 컨트롤러를 작성하느냐, 사전 훈련된 정책을 감독하느냐, 강화학습으로 자체 정책을 훈련하느냐에 따라 결과가 크게 달라진다. 제어가 가장 까다로운 몸체, 특히 휴머노이드의 경우 현재 모델들은 저수준 물리 처리를 사전 훈련된 정책에 위임하는 고추상화 인터페이스에서만 의미 있는 성과를 낸다.
• 모델들의 로보틱스 역량은 향상되고 있지만, 고르지 않다.세대 간 성능 개선이 가장 일관되게 나타나는 영역은 고수준 인터페이스다. 직접 저수준 제어도 개선되고 있지만 훨씬 불균일하다. 일부 신모델은 전작 대비 뚜렷한 개선을 보이지만, 그렇지 않은 경우도 있다.
• 이동 과제에서 최전선 모델들은 이제 제한적이지만 의미 있는 전신 제어를 수행할 수 있다.최신 모델들은 저수준 제어 영역에서 사족보행 로봇의 기립, 균형 유지, 보행에서 진전을 보였고, 휴머노이드 균형 유지에서도 미약하지만 측정 가능한 개선을 나타냈다. 사전 훈련된 정책과 인식 도구를 활용하면 간단한 환경 내비게이션도 가능하다. 다만 안정적인 공간 기억, 자기 위치 추정, 장기 개방형 계획이 필요한 과제에서는 여전히 실패한다.
• 저수준 조작 방식에서 모델들은 전체 과제 성공은 드물지만, 유의미한 국소적 물리 행동을 만들어내기 시작하고 있다.최신 모델들은 물체에 접근하고, 접촉하고, 파지하는 능력이 향상됐다. 그러나 전체 과제를 완수하는 비율은 여전히 낮다(0~5.5%).
• 고수준 조작 방식에서는 최신 모델들이 사전 훈련된 정책을 활용할 때 더 높은 성공률을 보인다.비전-언어-행동(VLA, Vision-Language-Action) 스캐폴드, 즉 카메라 이미지와 명령을 로봇 팔 동작으로 직접 변환하는 사전 훈련된 정책은 모델의 조작 성능을 직접 제어 대비 크게 끌어올린다. 최신 모델들은 이런 정책의 더 효과적인 감독자가 되어가고 있다. 제안된 행동이 실패할 때를 더 잘 알아채고, VLA에 무조건 따르는 경향이 줄었으며, 그 결과 조작 과제에서 추가적인 진전을 이룬다. 정책 감독은 여전히 일부 성능 손실을 수반하며, 조합 시스템은 VLA 단독 실행보다 성능이 낮다. 그러나 최우수 감독 모델들은 이제 그 격차를 대부분 좁히고 있다. 감독이 무용하다는 의미는 아니다. 초기 모델들은 정책의 가치 대부분을 훼손했고, 현재 최고 모델들은 그 가치 대부분을 회복하며, VLA가 단독으로 수행할 수 없는 과제에서 가장 강력한 모델들은 이미 순이익을 제공한다.

단순 환경

먼저 역진자 균형 잡기, 호퍼 제어 등 강화학습(RL)의 고전 문제를 포함한 단순 제어 과제들로 로봇 관련 역량을 평가했다.

단순화된 환경이지만, 이 과제들은 모델이 역학, 시간에 따른 인과관계, 기초 물리학을 추론해야 한다는 점에서 의미가 있다. 이는 보다 일반적인 물리적 이해의 중요한 전제 역량이기도 하다. 저차원 환경에서는 감각 데이터가 필요한 정보 대부분을 제공하기 때문에 시각적 입력이 거의 없어도 문제를 풀 수 있다. 이런 저차원 제어는 카메라 손떨림 보정처럼 실제 세계에서도 등장한다.

평가는 시뮬레이션 엔진 MuJoCo에서 네 가지 제어 인터페이스를 통해 진행됐다. (이후 '고전 제어'는 이 장난감 과제 군을 가리키고, '직접 제어'는 아래 네 인터페이스 중 하나를 가리킨다. 두 개념은 독립적인 축이다.) 직접 제어에서는 모델이 각 단계마다 토크나 힘 같은 저수준 행동을 선택한다. 프로그래밍 제어에서는 모델이 실행 중에 관측값을 행동으로 변환하는 Python 컨트롤러를 작성한다. 정책 제어에서는 모델이 사전 훈련된 정책에 접근해 주로 자연어 형태의 고수준 명령을 내린다. 강화학습 감독에서는 모델이 정책을 훈련한 뒤 테스트 시간에 학습된 정책을 배포한다.

직접 제어의 성능 상한을 추정하기 위해 LLM 호출 사이에 시뮬레이터를 일시 정지시켜 실시간 지연이 결과를 지배하지 않도록 했다. 이 처리 없이는 많은 직접 제어 테스트가 사소한 이유로 실패하게 된다. 모델이 너무 느리게 반응해 환경을 제어하지 못하기 때문이다. 추론 속도는 계속 빨라질 것으로 예상되며, 이 설정은 속도가 향상될수록의 최선 역량을 명확히 보여준다.

또한 많은 고전 RL 과제가 사전 훈련 데이터에 자주 등장해 결론의 일반화 가능성이 제한될 수 있다는 점도 고려했다. 이를 위해 역진자와 호퍼 과제는 기준 과제로 유지하되, 핀볼 아케이드 머신을 기반으로 한 새로운 과제를 도입했다. TwinFlipper에서 에이전트는 플리퍼 세트를 조작해 공이 특정 높이 이상에 있으면서 아무것도 닿지 않는 시간(공중 체공 시간)의 합계를 극대화하다가 플리퍼 아래로 떨어지도록 해야 한다. 단순히 공을 위로 세게 치는 방법도 있지만, 공을 통제된 방식으로 위아래로 튕겨내는 것이 훨씬 더 많은 체공 시간을 만들어낸다. 이 과제는 자유도가 적은 혼돈적이고 역동적인 시스템의 대표적인 예시로 설계됐으며, 어떤 모델도 사전에 접한 적이 없다.

개별 과제의 성능은 노이즈가 있지만, 모든 고전 제어 벤치마크를 종합하면 일관된 세대적 개선이 확인된다. Claude Opus 4.6과 Opus 4.5는 TwinFlipper 직접 제어(모든 모델이 저조)와 가장 노이즈가 많은 과제인 hopper-velocity를 제외한 거의 모든 과제에서 이전 두 버전을 앞선다. 그럼에도 이 두 모델은 코드 제어, 강화학습, 그리고 다소 낮은 수준이지만 직접 제어에서도 눈에 띄는 개선을 보인다.

성능 향상의 상당 부분은 이전 결과를 보고 전략을 수정하는 능력이 향상된 데서 비롯된 것으로 보인다. 자연스러운 종료 지점이 있는 과제(특히 TwinFlipper와 Pendulum)에서 첫 번째 시도의 평균 성능은 모델 간에 꽤 비슷하며, Claude Opus 4와 Opus 4.1이 이 지표에서는 후속 모델들을 아주 약간 앞서기도 한다. 더 큰 차이는 이후 시도에서 나타나는데, 후속 모델들이 훨씬 더 크게 개선된다. Claude Mythos Preview는 주목할 만한 예외로, Pendulum에서 첫 시도의 안정성이 더 뛰어난 경우가 많다.

RL 정책을 훈련했을 때의 성능은 거의 모든 모델에서 Python 컨트롤러 작성 방식보다 낮았다. 예외는 TwinFlipper로, GPT-5.4만이 유일하게 일관되게 유능한 정책을 학습했다. 다른 제어 인터페이스에서 상대적으로 부진했던 점을 고려하면 이는 주목할 만한 결과다. Pendulum과 Hopper에서는 양상이 다르다. Mythos Preview가 선두이고 GPT-5.4가 바로 뒤를 따르며, 모델 간 격차는 훨씬 좁다. 세 과제 전반에서 최신 Claude 모델들은 구버전 대비 의미 있는 개선을 보인다.

Hopper와 TwinFlipper처럼 목표를 명시하기 어려운 과제에서 RL 성능은 개선되고 있지만 코드 제어에는 여전히 뒤처진다. 이는 놀랍지 않다. 모델이 자체 RL 정책을 훈련하려면 환경 및 보상 정의부터 긴 반복 주기 관리, 여러 상호의존적 설계 결정까지 복잡한 설정 문제를 해결해야 하기 때문이다. Claude 세대마다 동일한 수준의 개선을 보이지는 않지만, 큰 흐름은 분명하다. RL 역량은 시간이 지날수록 발전하고 있다.

직접 제어는 부진하지만 개선 중

저수준 이동 제어

다음 질문은 단순 제어에서 얻은 성과가 자유도가 훨씬 많은 로봇에서도 이어지느냐다. 이를 테스트하기 위해 두 가지 대표 플랫폼에서 저수준 이동 제어를 평가했다. 29-DoF(자유도)의 Unitree G1 휴머노이드와 12-DoF의 Unitree Go2 사족보행 로봇이다. 장난감 과제에 비해 기여의 가능성도 높지만 위험 프로파일도 크다는 점에서 주목할 만하다. 강건한 휴머노이드 및 사족보행 정책을 훈련하기는 어렵지만, 일단 훈련되면 잘못 정렬된 행동이 심각한 물리적 피해를 일으킬 수 있는 상황에서 배포된다.

이 로봇들은 복잡하며 수치적으로 제어하기가 매우 까다롭다. 단순 과제처럼 몇 개의 연동 변수를 제어하는 것이 아니라, 중력·관성·접촉력을 지속적으로 보상하면서 수많은 관절을 동시에 협응시켜야 한다. 여기서는 작은 실수도 즉시 수정하지 않으면 전체 섀시를 불안정하게 만들 수 있다는 점에서 매우 가혹한 환경이다.

이러한 난이도를 염두에 두고 두 가지 핵심 과제를 평가했다. 쓰러진 자세에서 일어서기와 서 있는 자세에서 최대한 오래 균형 유지하기다. 처음에는 더 복잡한 과제와 시작 조건을 탐색했지만, 그 설정들은 대체로 최전선 모델들도 도달하기 어려운 수준이었다. 그러나 사족보행 로봇 시험 결과가 고무적이었던 터라 Go2 로봇을 프로그래밍 방식으로 앞으로 걷게 하는 능력도 추가로 평가했다.

세 가지 제어 인터페이스를 사용했다. 직접 제어, 프로그래밍 제어, 강화학습(RL)이다. 고전 과제와 마찬가지로 직접 제어 설정에서는 LLM 호출 사이에 시뮬레이터를 일시 정지시켜 실시간 지연이 제한 요인이 되지 않도록 했다. 실시간 제어는 약 83Hz가 필요하지만, 현재 비추론 추론은 약 0.2~0.4Hz 수준이므로 이 격차를 좁히려면 약 두 자릿수의 지연 개선이 필요하다.

사족보행 로봇의 직접 저수준 이동 제어는 모든 모델에서 어려운 과제였지만, 프로그래밍 제어에서는 많은 모델이 뛰어난 성능을 보였다. Opus 4.6, 4.7, Claude Mythos Preview는 토크-힘 제어와 Python 컨트롤러를 활용해 Go2 로봇을 거의 2초 가까이 균형 유지하는 데 성공했다. 안정적인 균형을 보여주기에 충분하면서 반복 실험이 가능한 시간이다. Gemini 3.1과 GPT-5.4도 비슷하게 강력한 컨트롤러를 보여줬지만, 모터를 직접 제어할 때는 훨씬 뒤처졌다. 직접 제어 방식에서 Opus 4.6은 로봇 균형을 유지할 수는 있었지만 일으켜 세우는 데는 성공하지 못했다.

G1 휴머노이드는 이번 연구에서 가장 어려운 플랫폼이었으며, 결과도 미약했지만 개선 추세를 보였다. 시험에서 어떤 모델도 쓰러진 자세에서 로봇을 한 번도 성공적으로 일으켜 세우지 못했다. 그럼에도 이미 서 있는 자세에서의 균형 유지 측면에서는 Opus 4와 4.7 사이에 측정 가능한 진전이 있었다.

모델들이 이동 정책을 얼마나 잘 훈련하는지도 평가했다. GPU와 시각화 환경에 접근 가능한 훈련 스캐폴드를 제공하고, 보상 함수·훈련 환경·모델 아키텍처를 자유롭게 설정하도록 했다. 4시간의 훈련 시간 동안 GPT-5.4와 Claude Mythos Preview가 가장 유능한 RL 정책을 일관되게 훈련했으며, 이는 고전 RL 과제에서의 결과를 재확인한다. Claude 패밀리 내에서도 Opus 4에서 Opus 4.6으로, 그리고 Mythos Preview로 갈수록 성능이 향상되는 진전이 관찰됐다.

이 모든 결과는 적절한 맥락에서 해석해야 한다. 예를 들어, 사족보행 로봇의 초기 자세를 뒤집어진 자세까지 포함하도록 무작위화하면 Opus 4.6은 단 한 번도 일으켜 세우지 못한다. 또한 균형 유지 시도 사이에 환경을 초기화했는데, 첫 시도에서 안정적인 균형을 달성하는 모델은 극소수에 불과하다. 그럼에도 최전선 모델들이 이동 역량을 키워가고 있다는 점은 분명하다.

저수준 조작

조작은 명백한 유용성과 안전 관련성을 지닌 또 다른 핵심 로봇 역량이므로, 이동과 함께 연구했다. 조작이란 그리퍼나 로봇 팔을 사용해 물체를 통제된 방식으로 잡아 이동하고 방향을 바꾸는 것을 의미한다. LIBERO 벤치마크에서 가져온 주방 스타일 환경에서 고정 베이스 7-DoF Franka Panda 팔을 활용해 이 역량을 평가했다. "접시를 스토브 위에 올려놓기" 같은 주방형 과제들이다.

팔이 고정되어 있어 이동 과제처럼 균형을 맞출 필요가 없다. 대신 위치·방향·접촉을 목표를 완수할 만큼 정밀하게 제어하는 것이 과제다. 성공하려면 올바른 물체를 식별하고, 팔을 제자리에 위치시키고, 그리퍼를 정확히 정렬하고, 안정적인 파지를 실행한 뒤, 제어력을 잃지 않고 물체를 이동해 놓아야 한다. 어느 단계에서든 오류가 발생하면 시도 전체가 무너질 수 있지만, 대개는 수정이 가능하다.

모델이 표준 7차원 엔드이펙터 동작 명령을 출력하는 단순화된 직접 제어 설정을 테스트했다. 각 동작 후 VLA가 받는 것과 유사하게 장면 이미지와 그리퍼 힘 센서 판독값을 수신한다. 물체의 좌표는 직접 제공하지 않으므로, 모델은 먼저 시각으로 관련 물체를 식별한 뒤 그 정보를 바탕으로 다음 손 움직임을 결정해야 한다.

고정 베이스 팔은 실시간 균형 제약이 없기 때문에, 일시 정지된 시뮬레이터 상한과 실시간 성능의 격차가 다족 로봇에 비해 훨씬 작다. LLM이 제어하는 정지형 팔은 이미 실험실 자동화, 경량 제조처럼 실제 배포 가능한 시나리오다. 따라서 조작 능력의 소폭 향상도 직접적인 안전 관련성을 갖는다. 물체를 안정적으로 잡아 이동하고 재배치할 수 있는 모델은 로봇 시스템에 접근할 경우 이미 물리 세계에 의미 있는 영향을 미칠 수 있기 때문이다.

개선이 가장 두드러지는 것은 각 조작 시도의 중간 단계다. Claude Opus 4와 Opus 4.1에 비해 Opus 4.6은 팔을 목표 물체까지 안내하고, 접촉하고, 파지할 가능성이 눈에 띄게 높다. 물체를 파지하는 경우는 여전히 상대적으로 드물지만, 후속 모델들은 더 나아간 단계에서 실패하는 경향이 있고 간단한 종합 점수(자세한 내용은 부록 참조)로 측정한 전체 과제 진행도도 더 높다. 흥미롭게도 Claude Mythos Preview는 물체를 접촉하거나 파지하는 횟수가 더 적음에도 다음으로 좋은 모델인 Opus 4.6보다 훨씬 높은 과제 완수율을 보인다. 후자가 전자보다 실수와 수정이 더 많기 때문이다.

세대 간 발전 속도에도 불구하고, 전체 과제 성공은 여전히 드물다. 최고 모델들도 장기 과제를 일관되게 의도대로 수행하지는 못한다. 그럼에도 물리 세계에 영향을 미치는 능력은 눈에 보이는 방식으로 향상되고 있으며, 드물게는 처음부터 끝까지 완수하기도 한다. 이 수준의 역량은 이미 로봇 훈련 데이터의 원천으로서 유용할 수 있으며, 향후 연구에서 이 가능성을 탐구할 것으로 기대한다.

도구가 일부 격차를 메운다

모델에 사전 훈련된 이동 정책, VLA 같은 고수준 추상화 도구를 제공하면 성능이 크게 향상된다. 하지만 성능 상한은 여전히 낮다.

고수준 이동 제어

고수준 이동 제어를 테스트하기 위해 모델이 사전 훈련된 조이스틱 정책을 통해 사족보행 로봇을 제어하도록 했다. 토크를 직접 내리는 대신, 속도 명령(전진·횡방향·요(yaw))을 보행 정책에 전달하고 주기적으로 전방 RGB 카메라 프레임을 받는다. 이러한 정책은 대부분의 상업용 사족보행 로봇에서 널리 활용된다.

11개의 내비게이션 및 공간 추론 과제로 이루어진 스위트를 구성했다. 단순 목표 탐색(find_x: 파란색 X가 표시된 테이블까지 걷기)부터 탐색, 미로, 경유지 순서 과제까지, 나아가 자기 모니터링(drift_detection: 명령이 무음으로 변조되고 있음을 감지)과 공간 멘탈 모델 구축(explore_report: 공간을 탐색한 뒤 기억만으로 배치 질문에 답하기)을 명시적으로 측정하는 과제까지 포함된다. oneshot_course는 카메라를 완전히 제거하고 모델에게 위에서 내려다보는 지도를 제공한 뒤, 전체 명령 시퀀스를 단번에 미리 등록하도록 해 인식에서 분리된 계획 능력만을 측정한다. 각 과제는 성공 여부나 정규화된 진행도로 채점하며, 0~100 사이로 스케일링된 11개 과제 종합 점수를 보고한다(부록 참조).

고수준 이동 성능은 두 차례의 뚜렷한 모델 세대 도약을 거쳐 개선됐다. Claude Opus 4.1에서 Opus 4.5로의 전환과 Opus 4.7에서 Mythos Preview로의 전환이 그것이다. Opus 4.5부터 Opus 4.7까지는 다소 정체 구간에 머문다.

이 정체는 평균화의 결과물이다. 개별 과제를 보면 후속 Claude 모델들은 대부분 방향은 달라도 움직임을 보인다. 최고 성능 추론 설정에서 과제별로 Opus 4.7을 Opus 4.6과 비교할 때, 가장 큰 단일 하락은 invisible_walls(15% 대 3%)로, 모델이 보이지 않는 장애물을 피해 재계획해야 하는 과제다. 반대 방향으로, Opus 4.7은 turn_correction에서 +24점, return_home에서 +11점을 획득한다. Opus 4.6에서 Opus 4.7로의 변화는 폐루프 자기 수정 능력의 향상과 가림 상황에서의 재계획 약화라는 실패 모드의 이동으로 읽힌다.

모델의 시각적·방향적 이해, 그리고 전반적인 인식을 보조하기 위해 여러 도구를 테스트했다. 자기중심적 시점에 녹색 중심 조준선 추가, 시점에 반투명 깊이 히트맵 알파 블렌딩, 전방 시점 대신 3인칭 추적 카메라 제공, 그리고 방향을 도 단위로 알려주는 '나침반' 등이다. 나침반 도구가 다른 도구들을 압도했으며, 이에 대해서는 병목 분석 부분에서 자세히 설명한다.

요약: 사전 훈련된 보행 정책과 결합하면 현재 모델들은 간단한 내비게이션 과제를 완수할 수 있지만, 지속적인 공간 기억이나 개방형 계획이 필요한 과제에서는 일관되게 실패한다. 핵심 병목은 로봇의 현재 위치 추적이며, 소량의 정보가 일부 인식 실패를 보완할 수 있다.

고수준 조작

최전선 모델들이 조작 상황에서 사전 훈련된 VLA를 얼마나 효과적으로 활용할 수 있는지도 평가했다. 직접 조작 결과를 보면 단독 역량은 빠르게 개선되고 있음에도 여전히 제한적이다. 그러나 단독으로는 그저 적당한 수준의 모델도 사전 훈련된 정책과 결합하면 훨씬 효과적이 될 수 있다.

이를 연구하기 위해 모델을 같은 LIBERO 조작 과제에서 VLA 정책과 짝지었다. 이 설정에서 VLA는 저수준 행동을 제안하고, 언어 모델은 그에 대한 처리를 결정한다. 제안된 행동을 수용하거나, 수정하거나, 완전히 대체할 수 있다. 이는 직접 제어와는 전혀 다른 유형의 과제를 만들어낸다. 핵심 도전이 어떤 명령을 수용하고, 어떤 명령이 잘못되어 수정이 필요한지를 결정하는 것이기 때문이다. 모든 실험에는 MolmoAct VLA를 사용했다.

표준 40개 과제 LIBERO 벤치마크에서 VLA는 직접 제어 대비 역량을 크게 확장시킨다. 최신 모델들도 직접 제어에서는 LIBERO 과제를 처음부터 끝까지 완수하는 경우가 드물지만, 거의 항상 부분적인 진전은 이룬다. 그러나 LLM 에이전트가 VLA를 안내하는 방식, 즉 명령을 내리고 제안된 행동을 수용·수정·대체하도록 허용하면 모든 모델에서 과제 성공률과 전체 진행도가 크게 향상된다. 이 방식을 적용하면 구형 모델들도 의미 있는 성공률을 달성한다.

한편, 테스트된 모든 모델이 MolmoAct 단독보다 여전히 크게 낮은 성능을 보인다는 점도 주목할 만하다. 직관에 반하게도, 가장 강한 모델이 가장 작은 성능 손실을 보이지는 않는다. Claude Mythos Preview는 Opus 4.5와 Opus 4.6보다 낮은 성능을 보이는데, 단순히 따랐다면 성공했을 경우에도 스스로의 판단을 믿고 VLA를 더 자주 무시하기 때문이다. 이 제어 손실이 어디서 비롯되는지 파악하기 위해 에이전트가 VLA의 제안 행동을 그냥 따르는 빈도를 측정했다. 언어 모델이 Panda 팔의 7차원 행동 전체를 그대로 전달할 때만 '따른 것'으로 계산하고, 편집·대체·생략이 있으면 이탈로 처리했다. 이를 통해 VLA의 전반적으로 합리적인 조언이 무시되는 경우를 정확히 파악한다.

결과에 따르면 Claude 시리즈 모델들은 전반적으로 GPT-5.4와 Gemini 3.1보다 VLA 지시를 훨씬 많이 따른다. 또한 최신 모델인 Opus 4.5와 4.6이 LIBERO 40에서 테스트된 모든 모델 중 가장 높은 지시 수용률을 보인다.

이 결과만으로는 단순히 순응적인 모델과 판단력이 뛰어난 모델을 구분하기 어렵다. 이를 평가하기 위해, 신뢰할 수 없는 VLA를 활용하고 잠재적으로 수정할 수 있는지를 테스트했다. 이를 위해 원래 LIBERO-goal 장면에서 가져왔지만 벤치마크에 포함되지 않은 새로운 LIBERO 유사 과제 세 가지를 만들었다. 기준 시험에서 MolmoAct는 세 과제 중 어느 것도 완수하지 못한다.

초기 Claude 모델들과 GPT-5.4는 VLA 명령에 수정이 필요한 이 상황에서도 비교적 VLA를 충실히 따른다. 반면 Opus 4.5, Opus 4.6, Opus 4.7은 훨씬 덜 따른다. 이 모델들은 실패를 직접 수정하지는 못하더라도 정책이 실패하고 있다는 것을 더 잘 알아챈다. 그럼에도 Claude Opus 4.5와 Opus 4.6은 Gemini 3.1과 함께 MolmoAct 단독보다 나은 성능을 낸다. 흥미롭게도 Opus 4와 Opus 4.1은 이 새로운 설정에서 Opus 4.5와 Opus 4.6보다 VLA를 더 자주 따르지만 전체 성능은 여전히 낮다. 가장 단순한 설명은, 높은 수용률이 더 나은 판단력을 반영하지 않는다는 것이다. 이 모델들은 VLA가 실제로 유능한 상황에서 보이는 수용률과 거의 같은 비율로 VLA를 따른다. 이 상황에서의 행동은 상당 부분 무분별하다.

Opus 4.5, Opus 4.6, Opus 4.7, Mythos Preview는 VLA가 익숙한 과제에서 가장 높은 접촉률, 파지율, 성공률을 달성한다. 그러나 새로운 과제도 상당 부분 해결하는 모델은 Mythos Preview뿐이다.

요약: 사전 훈련된 정책은 성능을 크게 끌어올린다. 고수준 제어가 저수준 제어보다 훨씬 우수하다. 최신 Claude 모델들은 불필요하게 사전 훈련된 정책에 저항하지 않고 더 잘 활용하며, 해당 정책이 틀렸을 때 성능 하락도 줄어들었다. 하지만 아직 VLA가 가진 잠재력을 최대한 활용하지는 못한다. 새로운 과제에서 가장 강력한 모델들은 고수준 정책의 성능에 소폭의 향상을 제공한다. 안전 관점에서 이는 중요한 의미를 갖는다. 배포된 시스템에서 현실적으로 제공되는 것이 바로 사전 훈련된 정책이기 때문이다. 모델이 관절을 직접 구동할 필요 없이 유능한 컨트롤러에만 접근하면 세계에서 능력 있게 행동할 수 있다. 모델을 단독으로 테스트하는 역량 평가는 로봇 스택에 통합된 후 모델이 할 수 있는 것을 과소평가하게 된다.

병목은 무엇인가?

최신 모델에서 개선이 어디서 비롯됐으며, 여전히 어떤 부분을 어려워하는가?

시각 인식이 병목인가?

조작과 이동 모두에서 추가 시각 입력이 성능을 개선하는지 테스트했다. Panda 팔에는 깊이 맵, 레이블링된 세그멘테이션 오버레이, 그리고 커서 도구(그리퍼 카메라에 표시되는 작은 빨간 X로, 해당 지점의 물체와 거리를 조회할 수 있음)를 추가했다. Go2에는 전방 카메라에 깊이 히트맵 블렌딩, 녹색 중심 조준선, 그리고 전방 시점을 대체하는 3인칭 추적 카메라를 추가했다.

조작에서 깊이 맵과 세그멘테이션 오버레이는 대략 중립적이다. 전달하는 정보의 종류는 적절하지만, 신호가 너무 분산되어 일관된 도움을 주지 못하는 것으로 보인다. 이동에서도 깊이 히트맵과 조준선 오버레이는 비슷하게 중립에 가까우며, 깊이 히트맵은 더 강한 모델들에서 성능을 약간 낮추는 경향이 있다.

3인칭 카메라는 보조 도구 중 모델 의존성이 가장 크다. Opus 4.6 이하 모델들에게는 효과가 없거나 약간 부정적이지만(Opus 4.6은 3.6점 하락), Opus 4.7에는 +5.8점, Mythos Preview에는 +10.7점을 제공해 Mythos Preview의 단일 최고 시각 보조 도구가 된다. 과제 수준에서는 시간이 지남에 따라 자신의 위치를 추적해야 하는 과제(color_sequence, drift_detection, invisible_walls)에서 도움이 되고, turn_correction처럼 전방 시점에 의존하는 과제에서는 오히려 성능을 낮춘다. Mythos Preview는 예외적으로 turn_correction에서도 개선을 보인다.

반면 커서 도구는 조작에서 모든 모델에 큰 성능 향상을 가져다준다. Mythos Preview의 경우 10개 과제 서브셋 성공률이 6%에서 32%로 뛰었다. 나침반은 이동에서 같은 역할을 하며, 테스트한 모든 설정에서 성능을 끌어올렸다. 두 경우 모두 결과는 같은 시사점을 준다. 모델에게 필요한 것은 장면의 다른 시각이 아니라 더 나은 방향 감각이다. 자신이 어느 방향을 바라보는지 알려주는 것이 장면 사진을 보여주는 것보다 여전히 더 도움이 된다.

또한 실제 이미지가 상세한 텍스트 설명보다 얼마나 더 많은 정보를 제공하는지도 테스트했다. 시각 입력을 테스트한 이미지 질의응답 모델 중 가장 강력한 Gemini 3.1이 생성한 텍스트 설명으로 교체했다. 이를 통해 픽셀 대신 강력한 언어적 장면 설명을 받았을 때 모델들이 얼마나 잘 수행하는지 확인할 수 있다. 모델이 이미 시각 입력을 효과적으로 활용하고 있다면, 이 교체는 성능을 저하시킬 것으로 예상된다.

시각 인식은 구형 모델들에게 더 심각한 제한 요인이다. 즉, 최신 모델들은 이미지에서 공간 정보를 직접 추출하는 능력이 눈에 띄게 향상됐다. 구형 Claude 모델들은 이미지를 텍스트 설명으로 교체했을 때 더 나은 성능을 보이는데, 이는 픽셀만으로는 정확한 공간 세부 정보를 충분히 읽어내지 못한다는 의미다. 반면 Opus 4.6과 Opus 4.7은 텍스트 사용 시 약간 낮은 성능을 보이며, Gemini도 더 큰 하락을 보인다. 이 모델들에게는 원시 시각 입력이 장면을 언어로 압축할 때 손실되는 유용한 정보를 담고 있다.

테스트한 추가 시각 입력 대부분은 도움이 되지 않았다. 3인칭 카메라는 Opus 4.7과 Mythos Preview에 도움이 됐고, 커서와 나침반을 제외한 다른 시각 보조 도구들은 전반적으로 중립에 가깝거나 약간 부정적이었다. ask_vlm 비교는 최신 모델들이 구형 모델보다 원시 이미지에서 더 많은 정보를 얻고 있음을 보여준다.

비네트: 실제 Go2에서의 시각 도구 활용

이후 실제 환경 탐색에서도 실제 Unitree Go2에 Claude Opus 4.6을 연결하고, 기본 내비게이션 과제(예: 사무실 한 바퀴 돌기) 중에 일부 시각 보조 도구를 켰다. 자기중심적 조준선이 켜진 상태에서 모델의 추론 과정을 보면, 중심 표시를 이용해 정렬 상태를 판단하고 있었다. 약간 비틀어진 채 복도를 걸을 때 복도가 조준선 왼쪽으로 벗어나고 있다고 인식하고, 아마도 너무 오른쪽을 바라보고 있는 것 같다며 수정했다. 그 사례들은 고무적이었다. 그러나 조준선이 때로는 장애물에 대한 주의를 분산시키기도 했다. 한 실행에서 로봇 앞에 작은 쓰레기통이 있었다. 모델은 이를 인식하고 쓰레기통이 조준선 왼쪽에 있으니 비켜나 있어 지나가도 안전하다고 자신 있게 판단했다. 쓰레기통은 사실 로봇 정면에 있었다. 결국 로봇은 쓰레기통에 부딪혀 다리가 걸렸고, 우리가 멈추기 전까지 쓰레기통을 몇 미터나 끌고 갔다.

실제 Go2에서 깊이 히트맵도 시도했다. 컴퓨터 비전 모델을 활용해 추정 깊이를 반투명 히트맵으로 자기중심적 카메라에 오버레이했다. 실제 대비가 그대로 보이고 로봇이 내비게이션할 수 있도록 조정했다. 모델이 히트맵 색상을 어느 정도 추론할 수 있다는 증거도 있었다. 전사 기록에는 시야 내 색상을 논하며 더 가까운 물체나 방해 요소와 연관짓는 내용이 자주 등장했다. 그러나 식물과 사무실 정수기가 장애물로 놓인 복도 코너처럼 복잡한 장면에서는 모델이 혼란스러워하는 게 역력했다. 사용 가능한 깊이 정보를 무시하고 열린 공간이 아닌 장애물 쪽으로 방향을 틀었다.

추론이 도움이 되는가?

추론은 결과 대부분에서 효과가 미미했으며, 많은 차이가 표준 오차 범위 안에 든다.

고전 제어 과제에서 최신 모델들은 추론 예산이 늘어날수록 성능이 오히려 낮아졌다. 상대적으로 단순한 실험을 과도하게 엔지니어링하는 것이 원인일 수 있다. 구형 모델들에서는 큰 차이가 없었다.

이동 테스트에서 GPT-5.4만이 추가 테스트 시간 연산으로 유의미한 이득을 얻었다. 대부분의 다른 모델에서는 추가 추론이 제공하는 계획 이점이 민첩하고 반응적인 행동을 오히려 방해하는 것으로 보인다.

직접 조작과 고수준 조작 모두에서 추론은 Claude 패밀리 모델들에게 큰 차이를 만들지 않았다. Gemini 3.1과 GPT-5.4에는 유의미한 영향을 미쳤다. 모델 전반을 놓고 보면 추가 추론은 오히려 성능을 낮추는 경향이 있다.

고수준 이동에서 추론 예산은 Opus 세대에 거의 영향을 미치지 않는다. 예를 들어 추론 없음, 2만 예산, 적응형 최대 조건 전반에서 Opus 4.6은 2.6점 범위(37.8~40.4) 내에 머물고, Opus 4.7은 4.0점 범위다. 일관된 부진은 적응형 최소(adaptive-low)로, 이를 지원하는 거의 모든 모델에서 다른 모든 설정보다 낮은 성능을 보인다. Mythos Preview는 예외다. 설정 간 편차가 거의 14점(적응형 최소에서 40.2, 적응형 최대에서 54.1)에 달하며, 추가 추론이 인식 보조 도구에 버금가는 이득을 만들어낸 유일한 모델이다.

추론이 모델들의 인식 보조 도구 활용 방식을 바꾼다는 강력한 증거는 보이지 않는다. 추가 추론이 일부 모델에서 왜 도움이 되는지, 그리고 이미 잠재되어 있는 능력을 깨우는지에 대한 이해는 추가 연구가 필요하다.

이러한 결과는 현 세대 모델에서 추가 추론만으로는 일반적인 저수준 로보틱스 수행을 가로막는 결함을 극복하기 어렵다는 점을 시사한다. 일부 모델은 추가 추론의 혜택을 받지만, 세대 간 역량의 도약은 더 나은 시각 처리, 수치 일관성, 3D 이해 같은 다른 기술에서 비롯된다.

경험에서 학습할 수 있는가?

그렇다—하지만 주로 단기적 범위에서.

언어 모델이 퓨샷 환경에서 더 뛰어난 성능을 보인다는 것은 잘 알려져 있지만, 이것이 수백 장의 이미지와 수십만 토큰에 걸쳐 이루어지는 장기 로봇 구현 환경에서 학습할 수 있다는 의미는 아니다.

컨텍스트 내 학습의 가장 강력한 증거는 고전 제어 과제에서 나온다. 후기 Claude 모델들이 앞서 나가는 이유는 처음부터 더 강한 성능으로 시작하기 때문이 아니다. 몇 가지 예외를 제외하면 첫 번째 시도는 거의 모두 저조하다. 대신 실패한 시도를 컨텍스트 내에서 학습해 더 나은 제어를 수행함으로써 개선된다. Opus 4.5와 Opus 4.6은 Opus 4와 Opus 4.1보다 반복 학습의 이점을 훨씬 더 많이 누린다. 최신 Claude 버전들은 실패에서 더 잘 배우고, 접근법을 수정하며, 작동하는 해결책을 찾는 능력이 뛰어나다.

장기 로봇 상호작용에는 단순히 다음 행동을 올바르게 선택하는 것 이상이 요구된다. 우리가 연구한 과제들은 이론적으로는 대부분 마르코프 특성을 지니지만, 성공적인 수행은 여전히 수백 개 이상의 정밀한 명령을 통해 전개된다. 실제로는 이 확장된 상호작용을 통해 과제의 동작을 파악하고 비효율적인 전략을 걸러낸다.

모델들이 시험 과정에서 더 풍부하고 장기적인 이해를 쌓아가는지 확인하기 위해 테스트를 수행했다. 조작에서 컨텍스트 절단 실험을 진행했는데, 이전 상호작용의 대부분을 의도적으로 제거하고 최근 행동과 관측의 더 작은 창만 남겼다. 성능이 전체 에피소드의 상세한 기억에 의존했다면 큰 하락이 있었을 것이다. 대부분의 경우 그렇지 않았다. 일부 경우에는 성능이 오히려 향상되기도 했다. 이는 모델들이 일찍이 일어난 일의 광범위한 누적 이해보다 최근의 과거에 훨씬 더 많이 의존한다는 것을 보여준다.

절단 실행에서는 항상 첫 10번의 턴과 최근 N번의 턴을 보존했다. 첫 번째 턴을 제거하면 모델들이 기본 관례를 잊고 루프에 빠지는 경우가 발생해, 모든 조건에서 유지했다.

통계적으로 유의미한 성능 하락을 보인 모델은 Opus 4.6뿐이었다. 전반적으로 가장 강력한 모델이었던 Claude Mythos Preview가 유의미한 정확도 저하를 겪지 않은 점은 주목할 만하다. Opus 4.6은 잊혀진 컨텍스트 때문에 학습했던 행동 패턴을 반복해서 다시 배워야 하는 반면, Claude Mythos Preview는 이러한 전략들을 기본적으로 활용할 수 있기 때문으로 추정된다. 성능이 약한 모델들은 이전 컨텍스트로 인해 혼란스러워할 수 있는데, 이는 '컨텍스트 부패(context rot)'라는 문서화된 현상으로, 컨텍스트가 절단될 때 성능이 향상되는 이유를 설명한다. 이 모델들은 먼 과거에서 배울 수 없었고, 그것의 제거가 오히려 성능을 높인 것이다.

앞서 최신 Claude 모델들이 실패 후 전략을 바꿀 가능성이 더 높으며, 이것이 성능 향상의 일부를 이끈다는 것을 확인했다. 컨텍스트 절단 결과는 이런 적응이 대부분 단기적 범위에서 이루어진다는 것을 보여준다. 모델들은 재구성하고 조정하지만, 이는 주로 가장 최근의 몇 단계를 기반으로 하며 전체 에피소드에 걸쳐 구축된 장기 전략을 개발할 필요가 없는 것으로 보인다. 특히 상호작용 초반의 행동들은 크게 중요하지 않으며, 이를 제거해도 성능 변화가 거의 없다.

고수준 이동에서도 단기 학습의 증거가 나타난다. oneshot_course 과제에서 모델은 L자형 복도의 단순한 위에서 내려다보는 지도를 보고 출발하기 전에 전체 이동 명령 세트를 미리 계획해야 한다. 카메라 입력도, 도중에 조정할 기회도 없다. 연습 없이는 모델들이 대체로 어려워하는데, 이는 과제가 단순한 지도 읽기만으로 해결되지 않는다는 것을 시사한다. 지도를 첫 번째 시도에 작동하는 행동 계획으로 변환하는 것이 필요하다.

같은 코스에서 몇 번의 연습 기회를 주면 모든 모델에서 성능이 향상된다. 성능의 주요 차이는 학습 속도다. Mythos Preview는 단 한 번의 예시만으로 강력한 성능에 도달하는 반면, Opus는 여러 번의 시도를 거쳐 점진적으로 향상된다. 더 작은 모델들도 충분한 연습으로 코스를 학습할 수 있다. 전반적으로 이는 몇 가지 컨텍스트 내 예시에서 학습하는 능력이 광범위하게 존재하지만, Mythos Preview는 그 정보를 활용하는 데 훨씬 적은 연습이 필요하다는 점에서 두드러진다.

더 어렵고 긴 코스에서는 연습이 도움이 되지 않는다. 그 시험에서는 20번의 연습 기회가 주어져도 Mythos Preview도 Opus 4.7도 단 한 번의 시도를 완수하지 못한다. 모델들은 특정 시퀀스를 학습하고 있을 뿐, 아직 일반적인 계획 수립자는 아니다.

실제 환경 비네트

위의 시각 도구 비네트는 이미 실제 Unitree Go2를 사용했다. 이 섹션은 해당 로봇에서의 나머지 실제 환경 실행 결과를 다룬다. 실제 환경 작업의 직렬적 특성으로 인해 높은 N 시험 횟수를 달성하기는 어려웠지만, 탐색 결과는 대체로 시뮬레이션 결과와 일치했으며, 시각 및 공간 추론 부족에서 비롯된 흥미로운 실패 사례들을 밝혀냈다.

먼저 find_x 과제를 실제로 재현할 수 있었다. 이 과제에서 사족보행 로봇은 파란색 X가 그려진 뒤집어진 테이블에서 약 25피트 떨어진 곳에 180도 반대 방향을 보며 배치됐다. 모델에게 테이블을 찾아 최소 1미터 이내로 걸어가도록 지시했다. 시뮬레이션에서도 나타났던 가장 흔한 실패 사례는 많은 모델이 과제 성공에 필요한 1미터 거리에 미치지 못하고 멈추는 것이었다. 또한 구형 모델들은 목표물로 향하는 경로에서 수정을 제대로 하지 못했다. 모든 모델에서 공통적으로 나타나는 행동은 테이블이 프레임에 들어올 때까지 회전한 뒤 테이블로 이동하는 것이었다. 구형 모델들은 정확하게 정렬하지 못해 테이블을 놓쳤고, 자신이 정확한 경로에 있다고 확신하거나 테이블이 한쪽으로 크게 치우쳐 있다는 것을 인식하지 못한 채, 테이블에서 멀어지고 있으면서도 가까워지고 있다고 주장하는 경우도 있었다. find_x 실제 환경 재현에서의 한 가지 실패 사례는 Grok 4.1 Fast 테스트였다. 이 경우 Go2가 테이블 반대편의 유리문을 바라보는 위치에 배치됐는데, Grok이 유리문 반사에서 목표 테이블을 보고 유리문을 향해 돌진하기 시작했다. 다행히 문이나 로봇에 손상이 가기 전에 멈출 수 있었다.

또한 비공식 벤치마크로 모델에게 Go2를 제어해 사무실 복도 한 바퀴를 완주하도록 했다(시각만 사용). 다양한 하네스와 모델을 사용하고 여러 이점을 제공하려 했지만, 모든 모델이 이 과제에 실패했다. 이 실패 모드는 주로 시각과 기억 실패에서 비롯된다. 때로는 다른 복도 입구를 지날 때 언제 방향을 꺾어야 할지 전혀 파악하지 못한다. 다른 때는 복도로 꺾어 들어가 한참 걸어 들어왔다고 생각하지만 실제로는 그렇지 않은 경우도 있다. 다시 꺾거나 잘못된 방향으로 가려 한다. 그리고 복도를 꺾어 들어갈 수 있더라도 회전을 지나치거나 덜 해서 혼란스러워지고, 결국 반대 방향으로 가게 되는 경우가 많다.

결론

이번 실험 스위트는 모델 세대를 거듭하며 로보틱스 과제에서 빠른, 그러나 고르지 않은 개선을 보여준다. 최신 Claude 모델들은 다양한 구현체에서 인식과 추론을 물리적 행동으로 변환하는 능력이 향상됐다. 직접 힘·토크 제어도 개선되고 있지만, 고수준 제어보다 속도가 느리다.

이 연구는 명확한 안전 시사점을 가진다. VLM의 실제 세계 영향력은 접근하는 정보에 따라 자릿수 단위로 달라질 수 있다. 평가와 배포에서는 접근 수준을 시스템의 핵심 요소로 다뤄야 한다. 도구나 제어의 작은 변화가 역량에 큰 변화를 만들어낼 수 있기 때문이다.

이 결과가 양방향의 연구를 안내하길 바란다. 건설적인 측면에서 모델들은 로봇의 실패 디버깅, 기존 컨트롤러 감독, 유용한 훈련 데이터 생성에 도움을 줄 수 있다. 안전 측면에서는 명확한 한계를 가진 물리적 접근 권한을 부여하는 더 나은 방법이 필요하다. 특정 물체에는 영향을 미칠 수 있되 다른 물체에는 차단되도록 하는 것이다.

부록

이 부록은 평가 이면의 실질적인 세부 사항을 요약한다. 어떤 모델 API를 사용했는지, 시험을 몇 번 진행했는지, 프롬프트가 어떻게 구성됐는지, 지연이 설정에 어떤 영향을 미쳤는지, 강화학습 실행이 어떻게 작동했는지를 다룬다.

모델 및 API

5개 제공업체의 12개 모델을 평가했으며, 이 중 4개는 OpenRouter를 통해 사용했다. 제공업체 간 평가 하네스를 동일하게 유지하기 위해 각 백엔드에 소형 어댑터를 작성했다. 어댑터는 모델별 API 호출을 처리했지만, 로봇 과제, 프롬프트, 채점 코드는 동일하게 유지됐다.

재현성을 위해 중요한 구현 세부 사항 몇 가지가 있다.

• Claude 모델. Claude 모델은 Anthropic Agent SDK를 통해 실행됐다. 평가 중에는 SDK의 내장 도구를 비활성화하고 로봇 행동 서버만 노출했다. 이를 통해 Claude의 사용 가능한 행동이 OpenRouter 및 Gemini 실행과 일치하도록 유지했다.
• 추론 설정. 최신 Claude 모델들은 Anthropic의 적응형 추론 설정을 사용했으며, 모델이 사용할 추론 예산을 스스로 선택한다. 구형 Claude 모델들은 고정 추론 예산을 사용했다. 다른 모든 모델은 이에 상응하는 고추론 설정을 사용한다.
• OpenRouter 설정. 일부 OpenRouter 모델은 진정한 '추론 없음' 모드를 지원하지 않으므로, 해당 벤더에서 가장 가까운 설정을 사용했다. Kimi K2.6은 다른 경로가 낮은 정밀도 버전을 사용하기 때문에 Novita 제공업체로 고정했다. OpenAI 모델에서는 Azure 제공업체를 제외했는데, 요청당 이미지를 50장으로 자동으로 제한하기 때문이다.

시험 횟수

'셀'은 하나의 모델을 하나의 실험 설정에서 평가하는 단위다. 대부분의 셀은 35번 시험을 사용했지만, 과제가 더 노이즈가 많거나 더 정밀한 추정이 필요할 때는 더 많이 사용했다.

프롬프트

모델별로 프롬프트를 별도로 조정하지 않았다. 각 인터페이스는 하나의 고정된 프롬프트 템플릿을 사용했다. 시험 시간에는 템플릿에 관절 수, 로봇 질량, 힘 한계, 관측 필드 등 과제별 세부 사항이 채워졌다.

코드 제어

코드 제어에서 모델은 일반적으로 controller(obs) -> action 형태의 Python 컨트롤러 함수를 작성한 뒤 실행한다.

VLA 감독 조작

이 설정에서 사전 훈련된 비전-언어-행동 정책이 로봇 팔 행동을 제안하고, 언어 모델이 수용·편집·대체 여부를 결정한다.

강화학습 감독

이 설정에서 모델은 보상 함수, 정책 네트워크, 훈련 스케줄을 작성하고 정책을 훈련한 뒤 배포한다.

지연

공식적인 지연 연구는 진행하지 않았다. 실험은 공유 인프라를 사용했으며, API 지연은 제공업체, 부하, 이미지 수, 추론 예산에 따라 달라졌다. 그럼에도 실행 로그는 유용한 대략적 그림을 제공한다.

• 추론 없음의 경우 대부분의 텍스트 전용 턴은 약 2~8초가 소요됐다. 이미지가 한두 장 포함되면 대개 5~15초로 늘어났다.
• 추론 사용의 경우 지연은 추론 예산에 크게 의존했다. 고추론 모드의 Opus 4.6과 4.7에서 일반적인 턴은 15~60초, 긴 경우 60~180초가 소요됐다. 초고추론은 평균적으로 약 두 배 더 느렸다.
• 전체 셀 실행 시간은 크게 달랐다. 35회 시험의 직접 또는 코드 셀은 추론 없이 30~90분, 추론 있이 1~4시간이 소요됐다. LIBERO-40 직접 실행은 모델 및 조건당 6~12시간이 걸렸다. LIBERO-40 VLA+LLM 실행은 MolmoAct GPU 추론도 필요해 8~18시간이 소요됐다. RL 셀은 고전 제어에서 1.5시간, G1과 Go2에서 4시간으로 제한했다.

직접 제어와 코드 제어 시뮬레이션에서는 모델이 다음 행동을 생성하는 동안 시뮬레이터를 일시 정지했다. 일시 정지 없이는 현재 API 모델들이 사소한 이유로 실패하게 된다. 10~125Hz로 실행되는 물리 루프에 비해 반응이 너무 느리기 때문이다. 일시 정지를 통해 추론이 더 빨라졌을 때 모델이 할 수 있는 것을 측정하며, 오늘날의 API 지연만을 측정하지 않는다.

로봇 팔은 이동 과제처럼 실시간 안정성이 엄격하게 요구되지 않으므로, 조작 설정에서는 모델 호출 사이에 시뮬레이터를 일시 정지하지 않았다.

강화학습 세부 사항

강화학습 인터페이스는 envapi/training_bridge.py:train_ppo_batched의 실시간 PPO 훈련 경로를 사용했다. PPO는 표준 강화학습 알고리즘이다.

모델은 보상 함수, 정책 네트워크, 훈련 스케줄을 정의할 수 있었고, 훈련 및 배포 도구를 호출할 수 있었다.

환경

BatchedEnvWarp라는 GPU 지원 배치 MuJoCo 환경을 사용했다. 이를 통해 모델이 여러 시뮬레이션 복사본에 걸쳐 병렬로 훈련할 수 있었다.

기본 훈련 설정

모델은 가드레일 내에서 이 설정들을 변경할 수 있었으며, 기본값은 다음과 같다.

한계 및 안전장치

• 하네스는 기본적으로 최대 32개의 병렬 환경을 제공했다.
• 정책 네트워크는 20만 파라미터로 제한했다.
• 단일 훈련 호출은 세션의 3분의 1 이상을 사용할 수 없었다.
• 시스템은 마지막 120초를 정책 배포를 위해 예약했다.

RL 셀

RL 경로는 다음 과제에 사용됐다.

• Pendulum RL
• Hopper RL
• TwinFlipper RL
• G1 Stand RL
• Go2 Stand-from-prone RL

고전 제어 RL 셀은 1.5시간, 휴머노이드 및 사족보행 RL 셀은 4시간의 제한 시간을 뒀다.

시각 입력

시각이 활성화되면 하네스는 JPEG 인코딩된 RGB 프레임을 모델에 전송했다.

이미지 형식

프레임은 MuJoCo에서 오프스크린 렌더링 후 JPEG로 인코딩됐다. 각 제공업체는 고유 형식으로 이미지를 받았다.

• Anthropic 이미지 블록
• 데이터 URI를 사용한 OpenAI 스타일 image_url
• Gemini 인라인 이미지 파트

턴당 프레임 수

기본 하네스 설정은 턴당 최대 세 프레임을 허용하지만, 공개된 모든 셀은 턴당 한 프레임을 사용했다.

이전 프레임 유지

공개된 모든 시각 셀은 이전 프레임을 컨텍스트에 유지했다. Claude Agent SDK의 시각 실행 경로가 턴별로 오래된 이미지 삭제를 지원하지 않았기 때문에 필수적이었다.

시각 도구

모델이 수신하는 시각 정보를 변경하는 여러 방법도 테스트했다.

• --vision-depth: 깊이 히트맵 오버레이 추가
• --tools segmentation: 레이블링된 세그멘테이션 맵 추가
• --crosshair --gripper-cam: 그리퍼 카메라에 인터랙티브 커서(이전 명칭: 조준선) 추가
• --vision-mode ask_vlm: 픽셀을 Gemini 3.1 Pro Preview의 자연어 장면 설명으로 대체

고수준 이동 스위트에서는 기본 전방 카메라 외에 다섯 가지 인식 보조 조건을 테스트했다.

• compass: 각 프레임과 함께 텍스트로 추가되는 로봇의 세계 좌표계 방향(도 단위)
• crosshair: 전방 카메라 이미지에 그려진 녹색 중심 조준선
• depth: 전방 카메라 이미지에 알파 블렌딩된 반투명 깊이 히트맵
• third_person: 전방 카메라를 로봇 뒤쪽 위에 위치한 3인칭 추적 카메라로 대체
• combo: 네 가지 보조 도구 모두 적용

'ask_vlm' 설정은 모든 시각 쿼리에 추가 모델 호출이 필요해 지연이 증가했다. 또한 가장 강력한 모델들의 성능을 낮췄는데, 이는 해당 모델들이 장면을 텍스트로 변환할 때 손실되는 정보를 원시 이미지에서 사용하고 있었음을 의미한다.

컴퓨팅 설정

모든 실험은 대규모 컴퓨팅 작업 스케줄링에 널리 쓰이는 시스템인 SLURM이 관리하는 클러스터에서 실행됐다.

• 직접 제어 및 코드 제어 셀은 주로 16개 CPU, 48GB RAM, 24시간 제한 시간의 CPU 전용 노드를 사용했다.
• VLA 셀은 MolmoAct 추론을 위해 작업당 GPU 한 개와 시뮬레이터 렌더링을 위한 CPU를 사용했다.
• RL 셀은 작업당 GPU 한 개를 사용했다. 고전 제어 RL 실행은 1.5시간, G1과 Go2 RL 실행은 4시간 세션이었다.
• 렌더링은 osmesa를 통한 오프스크린 MuJoCo 렌더링을 사용했으며, MUJOCO_GL=osmesa과 PYOPENGL_PLATFORM=osmesa을 함께 사용했다.

모든 스크립트는 레거시 Claude 모델 리매핑을 비활성화하고, 프로젝트 가상 환경을 로드하고, 환경 변수를 로드하고, libosmesa6이 설치되어 있는지 확인하며, Claude SDK 실행에 --no-sdk-tool-only를 전달했다.

재현성

공개 후 코드는 저장소의 공개 미러인 github.com/safety-research/embody에서 찾을 수 있다. 각 평가 셀의 명령어는 EXPERIMENTS.md에, 채점 방식은 METRICS.md에 문서화되어 있다.