qev-0.8b · 새로운 SOTA 초소형 로컬 의사결정 모델

오 좋네! 알파벳 순서대로 다 나오는 거 같음. 처음엔 jev, Kev 나오더니 이제 qev까지 나왔네. 난 개인적으로 zev 기다리는 중.

어떤 데이터로 학습시켰는지 궁금하네요.

저는 쉘 명령어 분류(예: 소프트웨어를 전역으로 설치하는지 여부 등)를 위해 이런 작은 의사결정 모델들을 사용해 보려 했는데, 지금까지는 결과가 별로였어요. 이 정도 파라미터 규모에서 신뢰할 만한 수준을 보여준 건 아직 못 봤거든요.

제 생각엔 쉘 구문을 파싱하는 명령형 구조 접근 방식이 이 경우에는 더 적절할 것 같아요. 불행히도 그건 LLM을 그냥 갖다 쓰는 것보다 훨씬 어렵지만요.

학습 절차와 언급된 데이터셋은 여기 전체 다 나와 있어요 https://huggingface.co/labqoat/qev-0.8b#training

여기 GGUF도 있던데, 로드하려면 추가 파이썬 스크립트가 필요하더라고요.
일반 llama-server로 실행할 수 있나요? Qwen3.5 기반이니까 아마 가능할 것 같기도 한데?

가능할 거예요. 그 레포의 리드미를 업데이트해 둘게요.