r/OpenAI•약 8시간 전•14•7
OpenAI Realtime API를 로봇에 적용하기
Using OpenAI Realtime API with a Robot
핵심 요약
OpenAI Realtime API와 시뮬레이션 학습 정책을 결합해 음성 명령으로 물체를 조작하는 로봇 팔 프로젝트입니다.
- 음성 제어 로봇 — OpenAI Realtime API를 통해 사용자와 대화하며 로봇 팔을 제어함
- 시뮬레이션 학습 — 로봇의 동작 정책을 시뮬레이션으로 학습시켜 정교한 움직임을 구현함
- 시각 정보 처리 — 카메라 영상을 실시간으로 분석해 틱택토 게임과 물체 식별을 수행함
직접 만든 작은 로봇 팔에 OpenAI Realtime API(WebRTC 기반 gpt-realtime-2.1)를 연결해 봤는데, 이제 그냥 말로 시키면 된다. 영상 보면 알겠지만 나랑 틱택토도 하고, 큐브를 그릇에 담고, 지가 제일 좋아하는 장난감 차도 고르고, 다시 나한테 큐브도 건네준다.
작동 원리는 이래:
-
음성 모델한테는 딱 몇 가지 도구만 쥐여줬어: look, reach, grab, drop, gripper, park, stop. reach랑 grab은 일일이 코딩한 동작이 아님. 시뮬레이션에서 학습시킨 정책(policy)이라, 모델이 무엇을 할지 결정하면 학습된 기술이 어떻게 할지 수행하는 방식이야.
-
사용자가 말할 때마다 카메라 두 대(탑뷰, 손목)에서 찍은 최신 이미지가 대화에 같이 들어가서, 로봇이 항상 현재 상황을 보고 있어. 틱택토 판도 이미지 보고 지가 알아서 읽음.
-
대상을 집으려고 하면 비전 모델이 탑뷰 이미지에서 해당 물체에 점을 찍고, reach나 grab 정책이 그 좌표로 이동하는 식이야.
