r/LocalLLaMA•12일 전•51•14
Qwen3.5 4B + 로짓 추출이 거의 'Jev'라고? 아니면 그냥 Qwen 리랭커만으로도 충분할까?
Qwen3.5 4B + grabbing logits is almost "Jev"? Or even just Qwen Reranker?
핵심 요약
Jev 모델의 확률 출력 방식을 Qwen 4B 모델의 로짓 추출로 구현해 더 나은 결과를 얻은 실험 공유.
- Jev 모델 모방 — 선택지별 로짓 확률을 추출해 Jev와 유사한 결과 도출함
- 성능 비교 — Qwen 4B 모델을 활용해 기존 Jev 모델보다 뛰어난 성능 확인
- 구현 방식 — 각 선택지를 문자로 매핑하여 로짓 확률을 계산하는 방식 사용
- 기술적 의문 — 로짓의 보정 문제와 다중 토큰 선택지 처리 방식에 대한 논의
Introducing System One Models & Jev - TypeSafe AI Blog에서 새로 나온 Jev 모델 봤는데, 그냥 선택지에 따른 확률값만 뱉어내는 거더라고? 이거 Qwen 리랭커 모델로도 충분히 할 수 있는 거 아닌가 싶어서 바로 구현해 봤거든. 근데 Qwen 4B 모델로 각 선택지에 알파벳 하나씩 할당하고 로짓 확률값 뽑아보니까 결과가 더 잘 나오네.
결과랑 샘플은 https://github.com/TheoLeeCJ/openjev에서 볼 수 있고, openjev.com에서 브라우저로 직접 테스트도 가능함.
내가 뭐 놓치고 있는 거라도 있나?
Almost not-Jev?
Results
