Qwen3.5 4B 기반으로 파인튜닝한 Jev 스타일 모델

고마워, 좋은 결과네! 근데 한 가지 차이점이 있어. 난 typed-decisions train split으로 학습을 전혀 안 했거든. 내 0.709는 zero-shot 결과라 두 수치를 직접 비교하긴 좀 그래. 모델이 한 번도 본 적 없는 워크플로우에서 어떻게 작동하는지 보려고 일부러 학습 데이터에 안 넣었어. train split으로 학습했으면 너가 본 것처럼 점수가 확실히 더 올라갔겠지. temperature scaling 없이도 ECE가 이미 0.02-0.03 정도 나오네(베이스 모델은 0.148이었음). 근데 성능이 좀 떨어지는 작업들에는 fitted temperature가 괜찮은 아이디어 같아, 한번 시도해 볼게. 그리고 맞아, 너가 경고한 거 나도 확인했어. 학습 데이터 외에 다른 것들(13개 human labelled tasks, OpenBookQA, HellaSwag, phishing)로 테스트해 봤는데, fine-tune 하고 나서 HellaSwag랑 phishing 성능이 베이스 모델보다 좀 떨어지더라고. 전부 레포에 있는 BENCHMARKS.md에 적어놨어. 독일어는 좋은 지적이야, 난 영어로만 학습해서 독일어는 좀 약할 거라고 예상해.

허깅페이스에 있는 일반적인 분류 데이터셋들(banking77, emotion, TREC, subj, tweet sentiment, BoolQ, amazon review stars)에서 각각 600개 정도의 작은 샘플을 주로 사용했어요.

거기서 찾은 Jev 증류 데이터셋(https://huggingface.co/datasets/MagaBitmex/jev-4b-distill-data)에서 약 3천 개의 질문도 사용했고요.

이걸 다 합치면 전체 학습 데이터의 약 25% 정도고, 나머지는 게시물에 링크된 합성 데이터셋입니다.

https://github.com/hrushikeshgangane/decision_maker
나도 Jev 같은 거 하나 만들었음.

진짜 멋지네.

아주 좋네. 4B가 학습 속도가 빠른 건 알지만, 9B나 35B-3AB를 쓰면 성능이 훨씬 더 잘 나올 것 같음?

응, 나도 그렇게 생각해. 이건 그냥 실험이었는데, 0.8B, 2B, 4B 다 해봤거든. 4B가 작은 모델들보다 훨씬 나았어(같은 벤치마크에서 2B는 0.643, 4B는 0.709). 그러니까 9B나 35B-A3B를 쓰면 확실히 더 좋아질 거고, 어쩌면 Jev 수준까지 도달할지도 모르지.

음, Jev 결과랑 꽤 비슷하네. 파인튜닝이나 밀도를 높여주는 gated residuals 같은 최신 개선 사항들을 적용해서 그런 걸 수도 있겠다.

그럴 수도 있겠네. 솔직히 Jev가 어떻게 만들어졌는지는 나도 몰라. 내 건 별거 없어. 그냥 Qwen에 LoRA 씌우고 옵션 글자에 cross entropy 쓴 게 다야. 절반은 정답, 절반은 soft labels로 했고. 공개된 벤치마크 두 개에서는 비슷해 보이지만, 실제 사용 사례에서는 격차가 더 클 거라고 봐. 그러니까 너무 큰 의미를 두진 않으려고.