llama.cpp의 새로운 기능: 의사결정 모델(Decision Models)

걱정 마, 이미 투자금 엄청나게 받았으니까 ㅋㅋㅋ

명예? 엑시트 전략?

무슨 엑시트 전략을 말하는 거야? 특허도 안 되는 아이디어(참고로 독창적이지도 않음) 하나 가지고 투자받은 건데?

꽤 괜찮은 아이디어를 내놓고 나서 사실상 망해버린다면 좀 안타까울 것 같아.

Jev가 나오기 2년 전부터 깃허브에 이 아이디어를 올리고 먼저 작업했던 사람은 안 안타까워? 아니면 그냥 처음 본 헤드라인만 믿고 다 사실이라고 생각하는 사람이야? 그 사람에 대해서는 관심 있어? 찾아보기라도 할 거야? (아니겠지)

꽤 괜찮은 아이디어

너 지금 이게 뭔지도 모르잖아... 그렇지?

맞음, 누군가 다른 사람의 어설픈 아이디어를 대충 코딩(vibe coded)해서 기관 투자자들한테 펌핑하게 만들더니, 커뮤니티 절반이 자기들만의 해결책을 대충 코딩해버리니까 놀라는 꼴이지. 나머지 절반은 "잠깐, 너네 그거 이미 안 하고 있었어? 2016년 ML 101 수준인데..." 이러고 있고.

솔직히 이게 AI의 정점이지...

난 잘 모르겠는데. 누가 Jev가 뭔지, 왜 다들 떠드는지, 그리고 왜 아무도 신경 안 쓰는 것 같은지 요약 좀 해줄 사람?

아무도 신경 안 쓰는 이유는 Jev가 엄청난 기대를 모았음에도 불구하고, 며칠 만에 더 나은 벤치마크를 가진 오픈 웨이트 경쟁 모델들이 튀어나왔기 때문이야.

Jev랑 그 경쟁 모델들은 구조화된 출력 예측기(structured output predictors)야. 자유로운 텍스트 대신 출력이 제한되어 있지. 예를 들어 모델한테 4개의 답을 주면 1~4번 중 하나만 출력할 수 있는 식이야.

일반 LLM으로도 할 수 있지 않냐고? 당연히 되지. 사실 OpenJev의 기본 모델은 그냥 DiffusionGemma야.

이 모델들의 장점은 0.5B 정도로 작고 빠르면서도 꽤 똑똑하다는 거야. 그래서 3T짜리 거대 모델을 돌리는 대신 간단하고 빠른 의사결정을 맡길 수 있지.

예를 들어 OpenRouter는 요청을 거대 모델로 라우팅하는 방식으로 이걸 사용하기 시작했어.

내 생각엔 좀 호불호 갈릴 의견 같은데, 중도적인 입장이라서 그래. Jev는 흥미롭고, 자기 역할은 진짜 잘하고, 비용도 엄청 저렴해. 근데 해자(moat)가 전혀 없고 오픈 소스 변형들이 여기저기서 튀어나오고 있지.

적어도 지금 시점에서는 대부분의 벤치마크(전부는 아니지만)에서 Jev가 성능표 최상단에 위치해 있어.

이게 뭔지 아주 쉽게 설명하자면(ELI5): 정보를 좀 주고, 선택지를 몇 개 주면, 그중에서 하나를 고르고 얼마나 확신하는지 신뢰도 점수를 알려주는 거야. 이걸 하는 방식에 3가지 변형이 있는데, 예를 들어 각 선택지가 얼마나 가능성 있는지 알려주는 단순한 이진법(참/거짓) 같은 거지.

전통적인 LLM한테 똑같은 걸 시킬 수도 있고, LLM도 하긴 하겠지만 더 느릴 거야. 왜냐면 LLM은 그냥 답만 고르는 게 아니라 답을 쓰기 위해 실제로 토큰을 생성해야 하거든. 좀 단순화한 설명이긴 한데, 크게 틀린 말은 아냐.

학습이 필요한 분류 모델(classifier models)이랑 다르게, 이건 학습 없이도 가능해. 이 논의에서 자주 간과되는 점 하나는 모델의 세상에 대한 지식(world-knowledge)이 꽤 중요하다는 거야. 작은 오픈 소스 모델이 1조 파라미터급 프론티어 모델이랑 경쟁하기 힘든 것과 같은 이유로, 작은 오픈 소스 모델도 경쟁하기 힘들 수 있어.

우리한테 진짜 흥미로울 지점은, 사람들이 세상에 대한 지식을 꽤 갖춘 더 큰 모델(120b급) 변형을 내놓으면서 Jev 스타일의 답변을 엄청난 속도로 해낼 때라고 생각해. 아마... 이미 일어나고 있을지도 몰라. 어제 8시간 잤으니까 그 사이에 놓쳤을 수도 있지. 세상 참 빨리 돌아가네.

Jev에 해자(moat)가 없는 이유는 1년 전에 나온 거의 똑같은 프로젝트에도 해자가 없었기 때문이지. :)

https://laya.convaiinnovations.com