TypeSafe AI의 새로운 System One/Jev 모델을 Pi 확장 프로그램에 써보고 계신 분 있나요?
Anyone else testing out TypeSafe AI's new System One/Jev model for Pi extensions?
핵심 요약
TypeSafe AI의 신규 모델을 활용한 보안 레이어 및 모델 라우터 구축에 대한 사용자들의 경험과 의견 공유.
- 모델 성능 — 자연어 입력 기반의 150ms 내 빠른 의사결정 지원
- 보안 레이어 — 도구 사용 스캔 및 안전성 평가 기능 구현 중
- 모델 라우터 — 프롬프트 복잡도에 따라 최적의 모델을 자동 선택
- 활용 사례 — NPC 성격 및 맥락에 따른 선택지 평가 등에 활용 가능
혹시 아직 못 들어봤을까 봐 말해주는데, 이거 자연어 입력받아서 150ms 정도로 빠르게 판단 내리는 진짜 똑똑한 자유 형식 분류 모델 같은 거야. 가격도 엄청 싸고. 한 12시간 전에 대기 명단 통해서 얼리 액세스 풀렸거든.
지금 나는 모든 도구 사용 내역을 스캔해서 안전 등급을 매겨주는 보안 레이어 만들고 있어. 프롬프트 의도랑 에이전트 추론이 얼마나 일치하는지 같은 것도 추가로 고려해 볼 생각이야.
이거 끝나면 프롬프트 난이도나 코드베이스 복잡도, KV 캐시 사이즈 같은 거 따져서 적절한 모델을 알아서 골라주는 자동 모델 라우터도 만들어 보려고. 기존에 있는 자동 라우터들보다 더 똑똑하고 빠른 걸로 말이야.
혹시 이거 써보고 있는 사람 또 있어? 다들 뭐 만들고 있냐?


