r/LocalLLaMA•11일 전•142•47

Jev가 대체 뭔지 아직도 모르겠음... 그냥 더 일반화된 BERT인가?

still doesn’t get what Jev is…..is it just a more generalised BERT?

핵심 요약

Jev의 정체를 두고 BERT, RNN, GliNER와 유사하다는 분석과 함께 현대적인 LLM 기술이 적용된 범용 분류기라는 의견이 오가고 있습니다.

BERT와의 유사성 — BERT와 구조는 비슷하지만 현대적인 데이터와 학습 방식으로 훈련됨
분류기 기능 — 특정 도메인에 국한되지 않고 다양한 쿼리를 처리하는 범용 분류기임
GliNER 비교 — GliNER와 유사하게 작동하지만 더 크고 똑똑한 모델이라는 평가가 있음
구조적 특징 — LLM과 유사하지만 출력 형식이 구조화되어 있어 환각 현상이 적음

jev 출시 웹사이트랑 x.com에 올라온 데모 영상 보고 있는데…. 이거 보니까 커스텀 프롬프트랑 커스텀 기준 지시사항까지 읽어낼 수 있는 엄청 똑똑한 분류기(classifier) 같네. 딱 정해진 좁은 범위의 작업은 기가 막히게 잘할 듯.

NLP 쪽을 워드 임베딩이랑 BERT 쓰던 옛날부터 지켜봐 온 입장에서,,, 딱 드는 생각은 이거임.

이거 그냥 BERT 아님?

물론 BERT는 커스텀 도메인에 맞추려면 파인튜닝이 필요하다는 건 아는데, Jev가 그냥 BERT의 일반화된 형태라고 봐도 되는 거 아님?

원문

커뮤니티 목록

r/LocalLLaMA•11일 전•142•47

Jev가 대체 뭔지 아직도 모르겠음... 그냥 더 일반화된 BERT인가?

still doesn’t get what Jev is…..is it just a more generalised BERT?

핵심 요약

Jev의 정체를 두고 BERT, RNN, GliNER와 유사하다는 분석과 함께 현대적인 LLM 기술이 적용된 범용 분류기라는 의견이 오가고 있습니다.

BERT와의 유사성 — BERT와 구조는 비슷하지만 현대적인 데이터와 학습 방식으로 훈련됨
분류기 기능 — 특정 도메인에 국한되지 않고 다양한 쿼리를 처리하는 범용 분류기임
GliNER 비교 — GliNER와 유사하게 작동하지만 더 크고 똑똑한 모델이라는 평가가 있음
구조적 특징 — LLM과 유사하지만 출력 형식이 구조화되어 있어 환각 현상이 적음

NLP 쪽을 워드 임베딩이랑 BERT 쓰던 옛날부터 지켜봐 온 입장에서,,, 딱 드는 생각은 이거임.

이거 그냥 BERT 아님?

물론 BERT는 커스텀 도메인에 맞추려면 파인튜닝이 필요하다는 건 아는데, Jev가 그냥 BERT의 일반화된 형태라고 봐도 되는 거 아님?

주요 댓글

r/localllama

Jev가 기존의 BERT나 GliNER와 무엇이 다른지, 혹은 단순히 그들의 발전된 형태인지에 대해 기술적인 논의가 활발하게 이루어지고 있습니다.

111

BERT와 비슷하긴 한데, 현대 LLM의 데이터, 연산 능력, 학습 레시피가 적용된 거지. BERT 시절엔 그런 게 없었으니까.

그땐 세서미 스트리트조차 만들어지기 전이었지

어떤 세서미 스트리트 캐릭터가 자기 MTP 벤치마크에 대해 거짓말을 하지?

더 카운트(The Count)

출력 결과는 BERT 스타일의 인코더나 분류기에서 얻는 것과 비슷해. 사실 https://huggingface.co/datasets/LocalLLaMA/typed-decisions 같은 유사한 유형의 결정 벤치마크를 보면, BERT 스타일 모델도 그만큼 성능을 내도록 파인튜닝할 수 있어(https://latentnode.pages.dev/articles/typed-decisions 참고). 하지만 임의의 쿼리에 대해 수행하는 범용 모델로서는 BERT나 분류기로는 불가능하지.

내 생각에 Jev는 분류 학습을 따로 할 필요가 없다는 점만 빼면 예전 RNN이랑 똑같이 작동하는 것 같아. 범용적인 퍼지 분류기인 셈이지.

그럼 우리가 실무에서 쓰는 GliNER랑 똑같은 거 아냐?

수정: 설명 없이 비추만 박는 건 별로 도움이 안 되네... 최대한 쉽게 설명하자면?

Jev는 LLM이랑 비슷한데, 통신 인터페이스가 특정 구조화된 형식으로 제한되어 있을 뿐이야. Jev의 의견과 피드백은 우리가 원하는 옵션들에 대한 확률로 표현돼. 그게 다야. 여전히 틀릴 수는 있지만(예: 틀린 답에 높은 확신을 가짐), 출력 선택지를 우리가 미리 정의하기 때문에 환각을 일으킬 수는 없어. 마치 …