[신규 모델] SupraElegans-500K

🚀 사용법

pip install torch transformers

import torch
from transformers import AutoConfig, AutoModelForCausalLM, PreTrainedTokenizerFast
from modeling_supraelegans import SupraElegansConfig, SupraElegansForCausalLM

model_id = "SupraLabs/SupraElegans-500k"

AutoConfig.register("supraelegans", SupraElegansConfig)
AutoModelForCausalLM.register(SupraElegansConfig, SupraElegansForCausalLM)

tokenizer = PreTrainedTokenizerFast.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
model.eval()

prompt = "Once upon a time"
input_ids = torch.tensor([[tokenizer.bos_token_id] + tokenizer.encode(prompt)])

with torch.no_grad():
    output_ids, _ = model.generate(
        input_ids, max_new_tokens=100, temperature=0.8, top_k=50, top_p=0.9
    )

print(tokenizer.decode(output_ids[0].tolist(), skip_special_tokens=True))

아니면 포함된 CLI 스크립트를 써도 됨:

python inference.py --prompt "The little robot" --max_new_tokens 150 --temperature 0.7
python inference.py --interactive

🔬 수동 상태 제어

컨텍스트가 KV 캐시가 아니라 순환 상태에 저장되므로, 토큰 단위로 모델을 돌리면서 상태를 직접 확인하거나 초기화할 수 있음:

state = model.init_state(batch_size=1)
logits, state = model.nervous_system.step_token(torch.tensor([token_id]), state)

새 시퀀스를 시작하려면 model.init_state(...)를 호출하면 됨.

🏆 벤치마크

⚙️ 학습

⚠️ 한계점

• 토큰 예산도 적고 모델도 작음! 긴 문맥 연결성, 사실 관계의 정확성, 프롬프트 견고함은 기대하지 마라.
• 안전성 튜닝이나 지시 튜닝 같은 거 안 되어 있음. 그냥 날것의 LM 완성 결과물로 봐라.
• 토폴로지는 고정된 랜덤 희소 그래프이며, 학습되거나 진화하는 게 아님.
• 이 체크포인트에 대한 파라미터 매칭 트랜스포머 베이스라인은 아직 공개 안 됨.

📄 라이선스

Apache 2.0

SupraLabs의 실험적 아키텍처 연구임. 피드백과 비교 환영!