102M 파라미터의 재귀적 BitNet-v2 모델을 밑바닥부터 학습시켰습니다: 64K 컨텍스트, 5B 토큰 미만 사용

면책 조항: 이 게시물과 모델 카드는 AI의 도움을 받아 작성됐음.

안녕, 이번에 Recursive BitNet N-Gram 102M을 공개한다. 3진 가중치, 공유 트랜스포머 레이어, 해시된 n-gram 임베딩을 섞어본 작은 실험작이고, 예산은 무려 100유로 들었음.

가중치, 추론 코드, 모델 카드, 평가 결과는 허깅페이스에 올려뒀다 (https://huggingface.co/n00nehere/recursive-bitnet-ngram-102M-64K-instruct-preview).

모든 모델 가중치는 랜덤 초기화부터 시작했고, Cosmo2 토크나이저(49,152 토큰 어휘 사전)를 재사용했음.

아키텍처는 디코더 전용 트랜스포머인데 몇 가지 추가 사항이 있다:

• 고유 파라미터 102.28M개, 히든 사이즈 1,024, 16개 쿼리 헤드와 4개 KV 헤드를 가진 그룹 쿼리 어텐션, 그리고 squared-ReLU 피드포워드 레이어를 썼음.

• 6개의 트랜스포머 블록을 두 번 돌려서 총 12개의 레이어 효과를 냄. 두 번의 패스 모두 가중치를 공유하고, 각 유효 깊이마다 별도의 KV 캐시를 둠.

• 3진 BitLinear 프로젝션은 순전파 과정에서 {-1, 0, +1}로 스케일링된 가중치를 사용함. 학습 시에는 FP32 마스터 가중치와 BF16 활성화 값을 유지함.

• 인과적 토큰 2, 3, 4-gram 임베딩을 작은 룩업 테이블로 해싱해서 입력 임베딩에 더했음. 이 브랜치로 파라미터가 약 1.6M개 추가됨.

• 연속 학습 단계에서는 65,536 토큰의 학습 컨텍스트를 사용함.

학습은 두 단계로 진행했음. 먼저 백본을 만들고, n-gram 브랜치를 추가한 뒤에 계속 학습시켰다. 단계별 하드웨어, 컨텍스트, 처리된 입력 토큰은 아래와 같음.

━━━━━━━━━━━━━━━━━━━━━━━━

Scratch backbone 4× NVIDIA B300 2K → 4K 3.487B

──────────────────────── N-gram continuation 1× NVIDIA B300 64K 1.216B

──────────────────────── Total 4.703B

두 단계 모두 131,072 입력 토큰의 유효 배치 사이즈로 AdamW를 돌렸음. 4.703B라는 숫자는 반복된 예제, 마스킹된 프롬프트, 패딩을 다 포함한 거다. 실제 지도 학습 타겟으로 쓰인 건 약 2.781B 위치임.

연속 학습 업데이트 8번 중 1번 꼴로 최대 60K 토큰 거리까지 아우르는 합성 메모리 에피소드를 사용했음. 소스 매니페스트랑 데이터셋 라이선스 세부 정보는 모델 카드에 다 있다. 벤치마크는 lm-eval 0.4.12를 썼고, 제로샷, 전체 사용 가능한 분할, 일반 텍스트 프롬프트, 2,048 토큰 스코어링 컨텍스트를 적용함. 총 20,465개 질문임.

Benchmark Metric Score

━━━━━━━━━━━━━━━

ARC-Easy acc 40.11%

───────────────

ARC-Challenge acc_norm 23.63%

───────────────

PIQA acc 57.62%

───────────────

WinoGrande acc 51.22%

───────────────

OpenBookQA acc_norm 25.60%

───────────────

BoolQ acc 58.65%