r/LocalLLaMA•약 3시간 전•52•21
Mistral AI의 Timestral
mistralai/Timestral
핵심 요약
Mistral AI가 시계열 데이터 예측을 위한 파운데이션 모델 제품군인 Timestral을 공개했습니다.
- 모델 구성 — 5M부터 209M 파라미터까지 다양한 크기로 제공됨
- 예측 기능 — 단변량 및 다변량 시계열 데이터의 제로샷 예측 지원
- 성능 사양 — 최대 32,768개의 과거 데이터 포인트와 1,024개의 예측 구간 처리 가능
- 오픈 소스 — GitHub를 통해 소스 코드와 벤치마크 재현 환경 제공
Mistral에서 전함:
Timestral은 제로샷 예측을 위한 시계열 파운데이션 모델 제품군이야. 5M, 28M, 123M, 209M 파라미터 버전으로 나왔고, 이 저장소에는 209M 체크포인트가 들어있어.
Timestral은 단변량 및 다변량 예측, 과거 데이터 전용 및 미래 정보 포함 공변량, 그리고 21개 분위수에 걸친 확률적 예측을 지원해. 최대 32,768개의 과거 타임스텝을 입력받아서 한 번의 포워드 패스로 최대 1,024 스텝까지 예측할 수 있어.
Timestral을 쉽게 돌려보고 벤치마크 결과도 직접 재현해 볼 수 있게 GitHub 저장소에 소스 코드도 다 풀어놨어.
모델 상세 정보
-
크기: 209M 파라미터.
-
아키텍처: 시간 어텐션(time attention)과 변량 어텐션(variate attention)을 사용하는 패치 기반 트랜스포머, 24개 레이어, 임베딩 차원 768.
-
패칭: 패치당 32 타임스텝. 각 패치는 결측치 표시기와 함께 값들이 임베딩됨.
-
컨텍스트 길이: 최대 32,768 타임스텝 (1,024 패치).
-
예측 범위: 한 번의 포워드 패스로 최대 1,024 타임스텝 (32 패치)까지 예측 가능. 더 긴 범위를 예측할 땐 블록 단위로 진행하며, 각 블록의 중앙값 예측치를 컨텍스트에 추가하는 방식임.
