SupersonicLabs/Julia-1 · 허깅페이스

맞음, 근데 LLM보다 낫거나 못한 게 아니라 특정 사용 사례에 더 최적화된 거임

접근성 문제지. spaCy라고 불리던 시절부터 프로덕션 시스템에 '언어 모델'을 배포해왔거든. Bedrock이 처음 나왔을 때(GA 이전부터 개발했음) 분류 작업은 대기업들이 모델에서 얻을 수 있는 가장 신뢰할 수 있고 가치 있는 기능이었어.

비용도 비쌌고, 속도 면에서만 사람보다 나았을 뿐 배포하기도 골치 아팠지. 이제는 모델 전체를 AWS Lambda에 번들로 넣어서 더 높은 정확도와 낮은 지연 시간으로 데이터를 분류할 수 있게 됐다는 게, 그것도 거의 공짜로 말이야. 정말 놀라운 일이지.

Jev한테 이게 사실이냐고 물어봤더니 1.0이라고 답하더라!

이걸 보니 클라우드 모델은 사실상 해자(moat)가 없다는 게 느껴지네

동의해. 하지만 자기회귀(autoregressive) 트랜스포머에서 벗어나 이런 식으로 자원이 분산되는 것에서 여전히 순이익이 발생할 거야.

멀티모달 LLM에 확산 기반 비전 레이어가 들어가는 것처럼, 조만간 이런 스타일의 모델들이 LLM에 기본으로 탑재되는 걸 보게 될 거라고 생각해.

특정 유형의 문제 해결에 엄청나게 유용하다는 건 부정할 수 없어. 생성 능력과 결합하면 적은 비용으로도 큰 격차를 메울 수 있거든.

개인적으로는 아주 좋다고 봐.

맨날 있는 일이지. 벤더들이 단순한 개념을 가져와서 예쁘게 포장하고, 통합 서비스나 문제 해결 지원 같은 걸 제공하는 경우를 얼마나 많이 보는지 몰라. 비기술직 사람들은 이런 지원 덕분에 성공 확률이 더 높은 혁신적인 기술을 도입한다고 생각하지만, 기술직들은 '아니, 그냥 라이브러리 설치해서 쓰면 되고 버그는 PR 보내면 되는데, 왜 전화 붙잡고 몇 시간씩 낭비하냐'고 생각하지...

솔직히 말해서 이건 연구라기보단 그냥 패키징 연습에 가까운 듯.

그냥 과장 광고일지라도, 마케팅이 불러온 창의성은 확실히 도움이 됨. 난 개인적으로 jev-reviewer를 설정해서 써봤는데, 질문을 던지면 논문의 직접 인용구로 바로 이동해주더라. 기존 LLM 툴보다 훨씬 빠르고 일관성 있게 작동함. 사실 파인튜닝된 BERT로도 충분히 가능했을 법한 일이지만, 아무도 이런 식으로 기술을 활용할 생각은 못 했었지.

jev와 경쟁할 만한 수준의 클론은 소수일 뿐이고, 나머지는 100개나 쏟아져 나오는 '내 qwen 9B 파인튜닝이 claude를 이긴다!' 수준의 모델들임. claude를 이긴다는 게 특정 도메인의 아주 작은 부분집합에서 이긴다는 뜻일 때가 많거든. 물론 그게 대단할 순 있지만, 사람들이 'claude를 이겼다'는 말을 들었을 때 기대하는 수준은 아님. 대부분의 jev 클론들은 '일부' 영역에선 경쟁력이 있을지 몰라도, 전체적으로는 아님.

기술 자체가 대단한 게 아니라 학습 범위가 중요한 거임. 이 불평을 계속 반복하는 것 같지만, 이 서브레딧은 LLM 사용에 있어서 특정 도메인에만 너무 집착하는 경향이 있음. 써보기도 전에 판단하려는 충동도 마찬가지고.

난 jev나 그 클론들을 많이 쓰는 편은 아님. 지금 내 유일한 jev 사용처는 클론들이랑 벤치마크 돌려보는 게 전부임. 근데 그것조차도 여기 댓글 다는 사람들 대부분보다 많이 쓰는 것 같다는 인상을 받음.

이 상황은 mcp랑 claude의 스킬들을 볼 때랑 좀 비슷함. 둘 다 엄청나게 과장됐지. 둘 다 무시하는 사람들도 많았고, 프레임워크나 모델 내부를 깊게 파고드는 사람들한테는 이미 해결된 문제라며 쓰는 사람들을 무식하다고 치부하는 사람들도 많았음. 근데 그건 핵심을 놓친 거임. 바로 사용성과 표준화지. jev의 경우엔 범위, 속도, 그리고 (어느 정도는) 표준화가 핵심임.

결국 긍정적이든 부정적이든 과장된 광고는 무시하고 직접 테스트해보는 게 답임. 벤치마크 결과만 보고 어떤 모델이 경쟁자를 이겼네 마네 하는 말을 너무 쉽게 믿지 마. 9B 모델에 약간의 추가 학습만 거치면 벤치마크를 입맛대로 골라서 claude를 이기는 건 아주 쉬운 일이니까. 이번 것도 마찬가지임. 말했듯이 마케팅은 효과적이지. 하지만 '내가 싫어하는 x 서비스를 내가 좋아하는 y가 이겼다'는 말에 무작정 휘둘리면 결국 자기 편향의 덫에 빠지는 거임. 우리 모두 편향을 가지고 있고, 그걸 극복하는 유일한 방법은 누구에게도 통제받지 않는 객관적인 지표를 사용하는 것뿐임.