JEV가 도대체 뭐고 어디에 쓰는 거임?

LLM도 당연히 이런 거 할 수 있지. 특히 구조화된 출력을 지원하고 제공된 스키마에 맞게 출력이 나올 때까지 반복하는 harness를 쓰면 더 그래. 사실 성능 좋은 LLM이 JEV보다 더 정확하게 해낼걸. JEV가 흥미로운 점은 LLM보다 1~2단계는 더 빠르고 저렴하게 일을 처리할 수 있다는 건데, 이게 JEV를 어디에 어떻게 적용할 수 있을지 그 판도를 바꾸는 거지.

다른 사람들은 JEV가 이런 속도와 비용으로 작업할 수 있는 유일한 모델이 아니라고 불평할지도 몰라. BERT처럼 LLM 이전에 나왔던 것들과 비슷해 보이기도 하거든. 자기가 "1년 전에 JEV를 만들었다"고 주장하는 사람은 그냥 ModernBERT 위에 인코더 하나 얹은 것뿐이야. BERT 같은 모델들은 JEV보다 훨씬 더 빠르고 저렴해. 차이점은 그런 모델들은 범용적이지 않다는 거지. 여기저기서 징징대는 그 사람 모델도 마찬가지고. 그게 무슨 뜻이냐면, 그런 시스템으로는 프롬프트만 던져서 바로 괜찮은 분류기를 얻을 수 없다는 거야. 파인튜닝을 해야 하거든. 근데 만약 파인튜닝을 할 수 있다면, 사실 네가 하려는 좁은 범위의 작업에는 JEV보다 그게 더 나을 수도 있어.

요약하자면, JEV가 유용한 이유는 프롬프트 하나만으로 거의 모든 문제에 대해 괜찮고 빠르고 저렴한 분류기를 얻을 수 있기 때문이야. 게다가 이건 local inference를 돌리거나 모델을 파인튜닝하는 법을 몰라도 쉽게 접근할 수 있는 API거든.

물론 이게 전부는 아니야. 살짝 다른 inference engine을 쓰면 기존의 open-weights 모델들로도 JEV 같은 범용 분류기를 만들 수 있어. 사람들은 vllm에 패치를 적용한 diffusion gemma를 사용해서 JEV의 범용성, 정확도, 속도, 비용(무료)을 재현해냈지. 만약 local JEV를 원한다면, 그런 프로젝트들이 탐구해 볼 만한 가장 흥미로운 것들이라고 생각해.