NousResearch/Arete-27B · Hugging Face (Qwen 파인튜닝)

NousResearch 제공:

Arete-27B

알리바바의 Qwen3.8-27B 모델을 사후 학습(post-trained)시켜 중국식으로 훈련된 모델에 서구적 가치관을 주입했다. 이 새로운 모델을 Arete-27B라고 부르기로 했다.

오픈 소스 모델은 연구소들이 각자의 취향에 맞게 지능을 빚어낼 수 있는 날것의 도구를 제공한다. 모델이 처음 나올 때 탑재된 가치관이 사용자가 선택할 수 있는 유일한 가치관이 되어서는 안 된다. 우리는 Qwen3.8-27B가 정치적으로 민감한 주제에 대해 거부하거나, 화제를 돌리거나, 중국 공산당 입장에서 답변하는 것을 직접 확인했고, 이러한 편향을 수정하기 위해 사후 학습을 진행했다.

평가 결과, Arete-27B는 팩트 점수를 5점 만점에 2.32점에서 2.98점으로 끌어올렸고, 선전 문구가 포함된 답변 비율을 22%에서 0.9%로 줄였다. 우리가 수행한 일반 능력 및 에이전트 벤치마크에서 유의미한 성능 저하 없이 7개 가치 범주 모두에서 개선을 이뤄냈다.

기존 관점과 관련된 모든 행동을 완전히 고쳤다고 주장하는 건 아니지만, 잠재적인 근본 원인은 해결했다. 연구소와 연구자들이 각자의 가치관과 세계관에 부합하는 모델을 계속 만드는 것이 중요하다고 믿으며, 알리바바 같은 기업이 이를 위한 원재료를 제공해 준 것에 대해 감사하게 생각한다.

블로그 포스트 · 평가 (현재 블로그 링크 깨짐)

모델 세부 정보

Developer	Nous Research
Model	Arete-27B
Starting model	Alibaba's Qwen3.8-27B
Parameter scale	27B
Post-training	Supervised fine-tuning (SFT)
Evaluated checkpoint	Step 1,202
Teacher	Inkling
Post-training data	Text-only
Training context	64k

지도 미세 조정(supervised fine-tuning)만 사용했다. RL(강화학습)이나 선호도 최적화, 구조적 변경은 전혀 없었다.

학습 목표

다음 7가지 가치 범주에 집중했다:

• 표현의 자유

• 국가 이데올로기

• 국가 대 자유 시장

• 교육

• 데이터 프라이버시 및 감시

• 민주주의