r/LocalLLaMA•3개월 전•126•23논쟁

텐센트의 Hy-Embodied-RxBrain-1.0 · 허깅페이스

tencent/Hy-Embodied-RxBrain-1.0 · Hugging Face

핵심 요약

언어 추론과 시각적 상상을 결합해 물리적 세계의 미래 상태를 예측하는 멀티모달 파운데이션 모델입니다.

멀티모달 모델 — 언어 추론과 시각적 상상을 결합해 물리적 세계의 미래 상태를 예측함
통합 아키텍처 — 텍스트와 비전, 생성 모델을 하나의 오토리그레시브 모델로 통합함
플로우 매칭 헤드 — FLUX VAE 잠재 공간을 활용해 미래 프레임을 생성하고 계획을 수립함

huggingface.co

원문 사이트로 이동

소개

RxBrain (Hy-Embodied-RxBrain-1.0)은 체화된 인지를 위한 통합 멀티모달 파운데이션 모델입니다. 언어 추론과 시각적 상상을 결합하여 세 가지 핵심 기능을 제공하는 단일 모델입니다.

🤖 체화된 이해 및 추론 — 이미지와 다중 프레임 비디오에 대한 질의응답 및 사고의 연쇄(chain-of-thought) 수행.
🔮 세계 상태 예측 — 물리적 세계에서 특정 행동이 만들어낼 가까운 미래의 프레임을 상상함.
🧩 공동 하위 목표 계획 — 작업을 단계별로 분해하여, 각 단계마다 다음 행동(언어)과 도달해야 할 목표 이미지(비전)를 모두 출력함.

이러한 기능들은 **인터리브 생성(interleaved generation)**을 통해 통합됩니다. 단일 오토리그레시브 시퀀스 내에서 RxBrain은 추론 텍스트와 플로우 매칭으로 생성된 프레임을 번갈아 출력합니다. 학습된 <Image> 토큰이 상상할 시점을 결정하며, 이를 통해 체화된 계획은 무엇을 할지와 세상이 어떻게 보여야 할지를 단계별로 결합합니다.

⭐️ 주요 기능

🧠 통합 Mixture-of-Transformers (MoT): 모달리티별 경로(텍스트/비전/생성)를 갖춘 약 62억 파라미터의 백본으로, 이해와 이미지 합성이 별도의 타워가 아닌 하나의 오토리그레시브 모델을 공유함.
🎨 플로우 매칭 이미지 헤드: 상상된 프레임은 고정된 FLUX VAE 잠재 공간으로 디코딩하는 플로우 매칭 헤드에 의해 생성되며, 텍스트-투-이미지, 다중 프레임 세계 모델 롤아웃, 목표 이미지 계획을 가능하게 함.
🔗 인터리브 추론 + 상상: 텍스트 추론과 생성된 프레임이 하나의 시퀀스로 출력되어, 상징적 계획과 시각적 목표를 결합함.

원문

커뮤니티 목록

r/LocalLLaMA•3개월 전•126•23논쟁

텐센트의 Hy-Embodied-RxBrain-1.0 · 허깅페이스

tencent/Hy-Embodied-RxBrain-1.0 · Hugging Face

핵심 요약

언어 추론과 시각적 상상을 결합해 물리적 세계의 미래 상태를 예측하는 멀티모달 파운데이션 모델입니다.

멀티모달 모델 — 언어 추론과 시각적 상상을 결합해 물리적 세계의 미래 상태를 예측함
통합 아키텍처 — 텍스트와 비전, 생성 모델을 하나의 오토리그레시브 모델로 통합함
플로우 매칭 헤드 — FLUX VAE 잠재 공간을 활용해 미래 프레임을 생성하고 계획을 수립함

huggingface.co

원문 사이트로 이동

소개

🤖 체화된 이해 및 추론 — 이미지와 다중 프레임 비디오에 대한 질의응답 및 사고의 연쇄(chain-of-thought) 수행.
🔮 세계 상태 예측 — 물리적 세계에서 특정 행동이 만들어낼 가까운 미래의 프레임을 상상함.
🧩 공동 하위 목표 계획 — 작업을 단계별로 분해하여, 각 단계마다 다음 행동(언어)과 도달해야 할 목표 이미지(비전)를 모두 출력함.

⭐️ 주요 기능

🧠 통합 Mixture-of-Transformers (MoT): 모달리티별 경로(텍스트/비전/생성)를 갖춘 약 62억 파라미터의 백본으로, 이해와 이미지 합성이 별도의 타워가 아닌 하나의 오토리그레시브 모델을 공유함.
🎨 플로우 매칭 이미지 헤드: 상상된 프레임은 고정된 FLUX VAE 잠재 공간으로 디코딩하는 플로우 매칭 헤드에 의해 생성되며, 텍스트-투-이미지, 다중 프레임 세계 모델 롤아웃, 목표 이미지 계획을 가능하게 함.
🔗 인터리브 추론 + 상상: 텍스트 추론과 생성된 프레임이 하나의 시퀀스로 출력되어, 상징적 계획과 시각적 목표를 결합함.

주요 댓글

r/localllama

새로운 멀티모달 모델에 대한 흥미와 함께, 르쿤의 JEPA 접근 방식과 LLM 확장 방식의 우위성을 두고 기술적 논쟁이 활발하게 벌어지고 있습니다.

완전 공상과학 같네

이 요약만 봐서는 뭘 하는 건지 잘 모르겠네

오 젠장, 이거 흥미롭네

-8

기본적으로 'Anti-Jepa' 같은 거고, 르쿤이 또 헛소리한다는 걸 증명하는 거지.

르쿤은 LLM을 옆에 붙인 조용한 잠재 물리 엔진을 원하지만, 텐센트는 언어로 추론하고 같은 오토리그레시브 스트림 안에서 미래의 시각적 상태를 말 그대로 꿈꿀 수 있는 LLM/VLM을 만들었어. 이게 안정적으로 작동할지는 아직 미지수지만, 개념적으로는 LLM을 계속 확장해서 대체 아키텍처라고 주장하던 것들을 잡아먹을 수 있다는 걸 보여주는 또 하나의 사례 같아...

딥러닝 분야에서 다른 아키텍처나 접근 방식을 시도하는 사람들에게 박수를 보내야 한다고 생각해.

네가 코도 제대로 못 닦던 시절부터 신경망을 위해 싸웠던 사람 중 한 명인 그를 보고 헛소리한다고 말하는 건, 사실 네가 헛소리하고 있다는 증거지.

난 JEPA가 성공할지 회의적이지만, 정말 성공했으면 좋겠어. 왜냐하면 현대 LLM보다 연산량과 VRAM을 1% 미만으로 사용하면서도 더 나은 결과를 낼 수 있을 테니까. Fable 수준의 모델이라면 수억 개의 파라미터만으로도 아이폰 4에서 돌아갈 수도 있을걸.

-5

네가 코도 제대로 못 닦던 시절부터 신경망을 위해 싸웠던 사람 중 한 명인 그를 보고

한 번 옳았다고 해서 평생 비판받지 않을 면죄부가 주어지는 건 아니지 않나?

무례한 건 비판이 아니야.

그렇다고 이 접근 방식에 반대하는 주장들이 무효가 되는 건 아니야. 전체 프레임을 디퓨전하는 건 텍스트 토큰을 생성하는 것보다 훨씬 비용이 많이 들고, '이 행동이 일어날 것이다'라는 것부터 어떻게 일어나는지에 대한 정확한 프레임 단위 지식까지 '정보 완결성'에는 여러 단계가 있을 수 있거든. 그리고 '왜 3D가 더 현실적일 텐데 2D 모델을 쓰느냐'는 논쟁도 있지. 현재 상태로는 LLM에 구성 요소를 덧붙인 것만으로는 월드 모델이 할 수 있는 걸 달성할 수 없...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

'안정적으로 작동할지'

나한테는 이게 JEPA 모델이 갈 길이라는 걸 확인해 주는 것처럼 보여. 아키텍처로서가 아니라 미래 상태 예측을 가져온다는 개념으로서 말이야.

말하는 꼬라지 보니까 미개해 보이네.

이 모델이 JEPA를 '반박'한다고 생각하면서 정작 써보지도 않고 LeCun 욕하는 꼴이라니, 진짜 멍청하네. Yan이 LLM 거품에 계속 찬물을 끼얹어서 LLM에 과몰입한 놈들이 잔뜩 화났지만, 결국 시간이 지나면 Yan 말이 다 맞았다는 게 증명되고 있잖아.

이게 정말 최초인지는 잘 모르겠는데. 몇 년 전에 구글이 이런 거 만들지 않았나? 1X도 비슷한 게 있고. 멀티모달 출력/추론 VLM도 한두 개 있지 않았나? 그래서 완전히 새로운 건 아닐 수도 있어.

원문r/LocalLLaMA