r/LocalLLaMA•약 5시간 전•38•5
FineDNA: 모든 LLM에게 DNA를 학습시킬 수 있는 최대 규모 데이터셋 (사전 학습, SFT, RL)
FineDNA: the largest dataset to teach any LLM DNA (midtraining, SFT, RL)
핵심 요약
Qwen3-14B를 기반으로 DNA 특화 모델 Carbon-X를 구축하는 데 사용된 FineDNA 데이터셋과 관련 코드가 공개되었습니다.
- 데이터셋 공개 — DNA 학습을 위한 300B 토큰 규모의 사전 학습 데이터와 SFT, RL 데이터가 포함됨.
- 모델 성능 — Qwen3-14B를 기반으로 DNA 분야에서 가장 강력한 오픈 모델인 Carbon-X를 구축함.
- 오픈 소스 — 데이터뿐만 아니라 학습 코드와 레시피까지 공개되어 다른 LLM에도 적용 가능함.
다들 안녕, Qwen3-14B를 DNA 분야 최강 오픈 언어 모델인 Carbon-X로 만드는 데 썼던 모든 데이터, FineDNA를 공개한다. 구성은 다음과 같아.
-
Midtraining: 300B+ 토큰 분량의 유전체 및 DNA 관련 텍스트
-
SFT: 약 200K 개의 대화 데이터
-
RL: 약 98K 개의 검증 가능한 프롬프트
코드랑 레시피도 다 까놨으니까 다른 LLM에도 똑같이 적용해 봐.
Dataset: https://huggingface.co/datasets/HuggingFaceBio/FineDNA
Code: https://github.com/huggingface/carbon
