Contrastive Language Models
대조 언어 모델(CLM)의 출시 소식과 함께, 역할극에서의 성능 및 로컬 환경에서의 GGUF 구동 가이드를 공유하는 게시물입니다.
contrastive-lm.notion.site
원문 사이트로 이동
Jev 모델의 실용성과 관련 기술의 놀라운 개발 속도에 대해 논의하고 있습니다.
스포일러
다음 달 출시.
이미 출시됐고 8B는 몇 MB밖에 안 됨 (qwen3-8B 위에 얹는 새로운 헤드일 뿐임). 멀티모달 35B 기다리는 중인데, 아마 qwen3.6-35B-A3B(혹은 3.5)용 헤드일 듯.
작성자님 시스템에서 35B a3B 헤드를 학습시키는 데 몇 시간이나 걸릴까요?
나 같은 GPU 빈민들을 위해:
llama.cpp(llama-server)를 통한 GGUF 구동
llama.cpp는 GGUF 모델을 OpenAI 호환 API의 임베딩 엔드포인트로 제공하는 것을 기본적으로 지원하며, 풀링(pooling) 타입 설정도 지원함.
1. Qwen3-8B GGUF 다운로드
원하는 양자화 버전(예: Q4_K_M, Q5_K_M, 또는 Q8_0)을 다운로드.
2. 임베딩 모드로 llama-server 시작
--embedding 옵션으로 llama-server를 실행하고, 풀링 타입을 last로 명시적으로 설정(버전에 따라 last 또는 cls를 지원하지만, CLM은 특히 last-token 풀링이 필요함):
codeBash
llama-server
-m ./qwen3-8b-Q4_K_M.gguf
-c 8192
--embedding
--pooling last
--port 8090
llama.cpp 임베딩 참고: 빌드가 --pooling last를 지원하는지 확인(최신 버전은 --pooling 플래그로 지원). 생략 시 일부 구버전은 mean 풀링을 기본값으로 사용하는데, 이는 헤드가 last-token 표현으로 학습되었기 때문에 CLM의 점수 정확도를 떨어뜨림.
3. clm-serve 연결
CLM 서비스를 llama-server 인스턴스에 연결:
codeBash
clm-serve
--port 8700
--emb-url http://127.0.0.1:8090/v1/embeddings
Jev처럼 가볍고 시각적 지원이 되는 모델이 자동화 작업에 아주 유용할 것 같음
와 Apache 2.0이네! 나이스
뭐야? Jev에 대한 반응으로 일주일 만에 이걸 내놓은 거야?
기존 로컬 모델들과 비교했을 때, 역할극 채팅에서 캐릭터들의 목소리를 섞이지 않게 유지하는 능력이 더 날카로운 것 같음.
길 잘못 드신 것 같은데, 이 모델은 텍스트 생성 같은 거 안 함
십중팔구 봇이네
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.