r/LocalLLaMA•11일 전•97•48논쟁

JEV 아키텍처

JEV architecture

핵심 요약

JEV 아키텍처의 실체와 작동 원리, 그리고 기존 모델과의 차이점에 대한 기술적 논의입니다.

작동 원리 — 텍스트 생성 단계 없이 모델의 confidence score를 활용하는 방식임
성능 및 효율 — 기존 LLM 대비 훨씬 빠르고 저렴한 비용으로 의사결정 작업 수행 가능
기술적 논쟁 — BERT 기반 모델과 유사하다는 의견과 범용성 면에서 다르다는 의견이 대립함
활용 사례 — 게임 내 NPC 제어 등 실시간 반응이 필요한 워크플로우에 적합함

지금까지 내가 이해한 건 이거야:

LLM을 가져와서 생각 없이 그냥 돌린다 (openjev가 그런 건가?)
마지막에 텍스트 생성하는 과정은 빼버리고, 그 직전 단계인 행렬에서 confidence score만 뽑아낸다.

이게 다지? 맞지?

이름도 참 거창하게 잘 지어놨네.

원문

커뮤니티 목록

r/LocalLLaMA•11일 전•97•48논쟁

JEV 아키텍처

JEV architecture

핵심 요약

JEV 아키텍처의 실체와 작동 원리, 그리고 기존 모델과의 차이점에 대한 기술적 논의입니다.

작동 원리 — 텍스트 생성 단계 없이 모델의 confidence score를 활용하는 방식임
성능 및 효율 — 기존 LLM 대비 훨씬 빠르고 저렴한 비용으로 의사결정 작업 수행 가능
기술적 논쟁 — BERT 기반 모델과 유사하다는 의견과 범용성 면에서 다르다는 의견이 대립함
활용 사례 — 게임 내 NPC 제어 등 실시간 반응이 필요한 워크플로우에 적합함

지금까지 내가 이해한 건 이거야:

LLM을 가져와서 생각 없이 그냥 돌린다 (openjev가 그런 건가?)
마지막에 텍스트 생성하는 과정은 빼버리고, 그 직전 단계인 행렬에서 confidence score만 뽑아낸다.

이게 다지? 맞지?

이름도 참 거창하게 잘 지어놨네.

주요 댓글

r/localllama

JEV의 기술적 실체와 효율성에 대해 긍정적인 평가와 함께, 기존 모델 대비 과대평가되었다는 회의적인 시각이 공존하고 있습니다.

가장 큰 차이점은 훨씬 빠르고 저렴하다는 거야. 사람들이 여기에 몰리는 주된 이유지. 엄청나게 혁신적인 기술은 아니지만, 가격과 속도 덕분에 갑자기 많은 활용 사례가 가능해졌어.

이 모델은 최신 LLM에 필적하는 실제 '지능'을 가지고 있어. 내 생각엔 그게 혁신적인 부분이야. LLM이 처리하려면 한참 걸릴 법한 모호한 의견들을 빠르고 저렴하게 처리하니까.

포워드 패스만 수행하고 confidence score를 가져와서 사용하는 방식이야. 사실상 어떤 모델에도 적용 가능하지.

그럼 그냥 텍스트 분류기 아냐?

사용자: 야 Jev, 왜 이런 결정을 내린 거야?

Jev: {"내가 알 게 뭐야": 1.0}

우리는 날이 갈수록 설명 가능성과 투명성으로부터 멀어지고 있다.

그게 내가 도저히 이해 안 가는 부분임. 걔네는 hallucination이 없다고 주장하는데, 도대체 얘가 무슨 근거로 그런 결정을 내리는지 어떻게 아는 거임?

출력 결과는 BERT 스타일의 인코더나 분류기에서 얻는 것과 비슷해. 사실 'typed-decisions' 벤치마크를 보면 BERT 스타일 모델도 비슷하게 성능을 내도록 파인튜닝할 수 있어. 하지만 임의의 쿼리를 처리하는 범용 모델로서는 BERT나 분류기로는 불가능하지.