r/LocalLLaMA•3일 전•110•36

Jev vs. Kev: 오픈소스 Jev 대안 모델 비교 테스트

Jev vs. Kev: open-source Jev alternative tested side by side

핵심 요약

Jev와 Kev 4B 모델을 동일한 조건에서 비교한 결과, 정확도는 비슷하나 Jev가 패러프레이즈 탐지에서 더 우수한 성능을 보임.

성능 비교 — 두 모델의 정확도는 오차 범위 내에서 비슷하지만 Jev가 패러프레이즈 탐지에서 더 뛰어남
비용 문제 — Jev는 고정된 추가 입력 토큰을 계산하여 짧은 요청 시 비용이 최대 12배까지 비쌈
벤치마크 공개 — 테스트에 사용된 코드와 데이터셋은 GitHub를 통해 확인 가능함

opper.ai

원문 사이트로 이동

Kev 4B(Jared Palmer가 Qwen3.5-4B를 Apache-2.0으로 파인튜닝한 모델)를 호스팅해서 Jev랑 같은 엔드포인트에 놓고 비교해 봤음.

두 모델이 출시된 이후에 나온 362개의 새로운 데이터셋(최신 arXiv 논문, Stack Exchange 질문, GitHub 이슈)을 직접 만들어서 원문 기반으로 답을 뽑아봤다.

몇 가지 발견한 점:

- 모든 작업에서 정확도 차이가 2점 이내라 이 정도 샘플 사이즈에선 오차 범위 수준임.

- Jev가 보정(calibration)이 더 잘 되어 있고, 문장 재구성 탐지(PAWS 87.0% vs 74.5%)에서 앞서나감.

- 정가는 똑같은데, Jev는 요청당 고정적으로 ~257개의 입력 토큰을 더 잡아먹음(TypeSafe 직접 호출할 때랑 같은 수치). 그래서 짧은 요청 보낼 때는 비용이 최대 12배까지 더 나옴.

직접 돌려보고 싶은 사람들을 위해 벤치마크 코드랑 테스트 항목, 결과는 GitHub에 올려뒀음. 두 모델 다 내 스타트업인 Opper를 거쳐서 라우팅했음. 궁금한 거 있으면 더 물어봐.

원문

커뮤니티 목록

r/LocalLLaMA•3일 전•110•36

Jev vs. Kev: 오픈소스 Jev 대안 모델 비교 테스트

Jev vs. Kev: open-source Jev alternative tested side by side

핵심 요약

Jev와 Kev 4B 모델을 동일한 조건에서 비교한 결과, 정확도는 비슷하나 Jev가 패러프레이즈 탐지에서 더 우수한 성능을 보임.

성능 비교 — 두 모델의 정확도는 오차 범위 내에서 비슷하지만 Jev가 패러프레이즈 탐지에서 더 뛰어남
비용 문제 — Jev는 고정된 추가 입력 토큰을 계산하여 짧은 요청 시 비용이 최대 12배까지 비쌈
벤치마크 공개 — 테스트에 사용된 코드와 데이터셋은 GitHub를 통해 확인 가능함

opper.ai

원문 사이트로 이동

Kev 4B(Jared Palmer가 Qwen3.5-4B를 Apache-2.0으로 파인튜닝한 모델)를 호스팅해서 Jev랑 같은 엔드포인트에 놓고 비교해 봤음.

두 모델이 출시된 이후에 나온 362개의 새로운 데이터셋(최신 arXiv 논문, Stack Exchange 질문, GitHub 이슈)을 직접 만들어서 원문 기반으로 답을 뽑아봤다.

몇 가지 발견한 점:

- 모든 작업에서 정확도 차이가 2점 이내라 이 정도 샘플 사이즈에선 오차 범위 수준임.

- Jev가 보정(calibration)이 더 잘 되어 있고, 문장 재구성 탐지(PAWS 87.0% vs 74.5%)에서 앞서나감.

주요 댓글

r/localllama

사용자들은 Kev와 Jev의 비교 결과에 관심을 가지며, 다른 모델들의 추가 테스트를 제안하거나 LLM의 범용 분류기 활용 가능성에 대해 활발히 논의하고 있습니다.

왜 3.5 버전으로 한 거야?

3.5 이후로는 작은 Qwen 모델이 없어.

그건 Jared Palmer한테 물어봐야 할걸: https://huggingface.co/jaredpalmer/kev-4b

그 사람 고철 덩어리가 2.5 안 쓴 걸 다행으로 여겨.

요즘 가장 핫한 로컬 모델: llama 3.1 8b

Base 모델을 쓰고 싶었기 때문이지.

내 생각엔 3 버전이 파인튜닝하기 좋기로 워낙 유명해서 그런 것 같아. 그리고 컷오프 날짜에 따라 2.5나 3을 학습하라고 권장하는 대형 모델들이 워낙 많아서, 3.5나 3.6, 3.8 같은 게 존재하는지도 모르는 경우가 태반이거든.

또한 이번 작업의 특성상, 인스트럭션 튜닝과 추론 모델 설정을 결합하는 게 모델을 망가뜨리지 않고 학습하기가 좀 더 까다로울 거야. 아주 어렵진 않겠지만 최신 모델들을 학습할 때 분명 고려해야 할 문제지. 그래도 앞으로 몇 주 안에 gemma-4나 qwen-3.5(개인적으로 비교용으로 0.8B 버전이 나오면 좋겠어) 같은 SLM을 기반으로 한 kev 스타일 모델들이 더 많이 나올 거라고 봐.

형들, 나 이 하이프를 완전히 놓쳤는데. 이 모델 어떻게 써? 더 큰 모델의 보조 모델 같은 걸로 쓰고 싶은데.

범용 분류기인데, 심지어 빠르기까지 함. 내 앱에는 데이터 툴에서 들어오는 prompt injection을 감지하는 용도로 추가할 생각임(웹 검색 결과를 미리 확인해서 에이전트 동작을 바꾸지 못하게 하는 식). 싸고 빠른 보호 계층이지. 다른 옵션으로는 스마트 모드 라우터가 있는데, 사용자가 질문을 입력할 때 주기적으로 분류해서 스킬이나 모드를 제안하는 방식임.

https://huggingface.co/fastino/GLiNER2.5-Decide 랑 비교한 건 없음?

원문r/LocalLLaMA