Von: 오픈소스 395M "System One" 모델

맞아, 100% 동감함. 실시간 환경에서 아주 작은 LLM을 써서 행동을 선택하고 의사결정을 내리는 건 흔한 일이었는데, 다들 Jev를 무슨 대단한 신기술인 것처럼 떠받드는 거 보고 진짜 충격받았다. 나도 1년 반 전에 하던 거고 Jev 재현하는 거 진짜 쉬움. 멋진 개념인 건 맞고 사람들이 관심을 갖는 건 좋지만, 이게 뭐 새롭거나 놀라운 건 아님. LLM 출력을 몇 개의 토큰으로만 제한하면 처리량이 극적으로 늘어난다는 걸 이제야 깨달은 건가? 당연한 소리 아님? 거기다 좁은 범위의 작업(의사결정 모델은 일반화가 가능해도 결국 좁은 작업임)으로 파인튜닝까지 하면 성능이 잘 나오는 건 당연하지. 왜 다들 감탄하는지 모르겠네. 그냥 여기 accelerate나 singularity, localllama 레딧 유저들 수준이 드러나는 거 아님?

오픈 소스 Laya 모델을 Jev랑 비교해 봤는데 진짜 하늘과 땅 차이더라. 지금 이런 모델들에 대한 벤치마크가 별로 없긴 한데, Jev가 Laya보다 훨씬 똑똑하게 느껴짐. 괜찮은 오픈 소스 모델이 좀 나왔으면 좋겠다.

그럴듯하네. 네가 말한 논문 읽어보고 더 잘 이해하려면 시간 좀 내야겠다. 고맙다.

그러니까 렌치랑 다를 바 없는 물건의 인체공학적 설계를 연구하는 데 2년을 썼다는 거네. 처음 만드는 건 어렵지만, 베끼는 건 쉽지.

(학술 논문 포함) 그건 좀 오버네. Claude가 쓴 논문이고, arxiv에서 검증 절차 생기기 전에 올라온 거잖아. 요즘 Zenodo 같은 거라 별 가치 없음.

관점을 좀 가질 필요가 있다고 봄. LLM이 처음 나왔을 땐 인터페이스가 엄청 단순했고, 그냥 챗봇 그 자체였음. 코드를 복사해서 붙여넣기만 했고, 툴 호출도 안 됐고, 그냥 텍스트만 보여주는 수준이었지.

그러다 Anthropic이 사용성에 대해 엄청 연구해서 artifacts를 발명했고, 그게 결국 모델이 쓸 수 있는 다양한 대화형 창으로 발전한 거임. 그리고 그건 진짜 좋고 간단한 아이디어였기 때문에 일주일도 안 돼서 다들 베껴갔지.

Typesafe가 한 게 무슨 외계 기술 같은 대단한 건 아님. 그냥 좋은 아이디어를 가지고 그걸 멋진 인터페이스와 기술 데모로 포장하는 방법을 알아낸 것뿐이지, 기반 기술이 외계 기술 같은 건 아님. 툴 호출과 비슷한 전략을 병렬로 사용해서 multi-head BERT 방식으로 충분히 구현할 수 있음. 당연히 좋은 아이디어면 다들 바로 베끼지.

잠깐, 이거 만드는 데 그렇게 오래 걸렸다고? 나 몇 년 전에 지능형 라우팅용으로 Jev 같은 거 주말 동안 뚝딱 만들었는데.

자랑하는 건 아니고, 요청 유형을 분류할 데이터셋만 충분하면 BERT로 이런 건 쉽게 할 수 있음.

실리콘밸리에 온 걸 환영해, 뭐 그런 느낌이네.