sensenova/SenseNova-Loop-9B-Preview · 허깅페이스

개요

SenseNova-Loop-9B-Preview는 긴 문맥 처리와 에이전트 워크플로우를 위해 개발된 멀티모달 언어 모델이야. 텍스트와 이미지를 입력받아 문서 이해, 코딩, 외부 도구 연동이 필요한 작업에 텍스트를 생성해 내지.

이 모델은 두 개의 스트림으로 구성된 매니폴드 제약 하이퍼 커넥션(mHC)을 갖춘 루프형 디코더를 사용해. 디코더 레이어의 연속된 블록을 가중치를 공유하면서 두 번 실행하는 방식인데, 루프 구간 내 두 잔차 스트림 사이의 정보 흐름은 학습된 매핑이 알아서 관리해. 이렇게 하면 반복되는 블록의 파라미터를 늘리지 않고도 더 깊은 실행 경로를 확보할 수 있어.

학습 레시피는 긴 시퀀스, 멀티모달 입력, 지도 학습 작업 궤적을 결합했고, 최대 학습 시퀀스 길이는 262,144 토큰이야. 모델 성능을 제대로 뽑아내려면 우리가 제공하는 배포 환경이랑 설정 파라미터를 그대로 쓰는 걸 추천해.

https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview#model-highlightsModel 주요 특징

• 공유 루프 블록: 24개의 디코더 레이어를 순차적으로 두 번 적용해서, 총 32개의 고유 레이어로 56개의 디코더 레이어 실행 효과를 냈어.

• 2-스트림 mHC: 루프 구간에서 두 잔차 스트림 간의 정보를 학습된 매핑을 통해 전달하고 결합해.

• 하이브리드 어텐션: 4개 레이어 패턴을 반복하면서 선형 어텐션과 전체 어텐션을 교차로 사용해.

• 긴 문맥 멀티모달 학습: 텍스트, 이미지, 코드, 도구 사용 궤적을 포함한 학습 레시피로 최대 256K 토큰 길이까지 처리 가능해.