Qwen이 벌써 Jev 경쟁 모델을 급하게 내놨네. 오픈 웨이트는 아직 없음.

수정: 그 얘기 나와서 말인데, 직접 써보니까 지금까지는 그냥 쓰레기네. AIHubMix(이 플랫폼은 절대 쓰지 마라, 개판임) 통해서 기본적인 테스트 좀 돌려봤고, 내 에이전트가 비교 분석도 해봤거든. Jev 하입 시작되고 며칠 지나지도 않아서 낸 모델이라 그런지 딱 그 수준인 듯. 에이전트 분석 결과는 아래와 같음:

AI 에이전트 출력:

제공된 API 키와 decision-model-preview를 사용해서 https://aihubmix.com/v1/systemone를 지연 시간, 처리량, 언어적 판단 정확도 측면에서 우리 테스트 스위트와 비교해 철저히 검증했다.

테스트 결과와 왜 이 엔드포인트로 전환하는 걸 강력히 비추하는지 그 이유는 다음과 같다:

────────────────────────────────────────────────────────────────────────────────

1. 지연 시간 및 속도 제한 벤치마크

• 서버 측 실행: 엔드포인트 보고 지연 시간(latency_ms): 약 130ms–160ms.
• 총 왕복 시간(네트워크 + TLS): 평균 644.9ms (최저 473ms에서 최대 882ms). 비교하자면, 기존 로컬 라우터([9router IP])는 평균 약 439ms임.
• 16개 질문 제한:
  프록시가 질문 16개를 초과하는 요청은 칼같이 거부함:
  {"error": {"message": "questions: 19 exceeds the limit of 16", "type": "Aihubmix_api_error"}}
  일본어 긴 문장(예: 外に出してやってくれませんか。 또는 ちょっと聞いてみたいんだけど。)을 넣으면 우리 병렬 진단 텐서가 19~22개의 질문을 보내는데, 바로 400 Bad Request 에러가 뜸.
• 빡빡한 속도 제한: 요청 사이에 1초씩 쉬어도 429 Too Many Requests 에러가 밥 먹듯이 뜸.

────────────────────────────────────────────────────────────────────────────────

2. 판단 품질 (심각한 의미론적 저하)

품질 테스트를 위해 우리 테스트 배터리를 16개 질문 제한에 맞춰 10개 질문 페이로드로 압축해서 돌려봤음. 벤치마크 전반에서 decision-model-preview는 심각한 보정 붕괴를 보임:

테스트 케이스 1: 부정 대명사 vs 의문사

• 일본어: 何か待ってるの？ ("뭐 기다리는 거 있어?")
• 사용자 초안: "what are you waiting for" (명백한 문법 오류: 예/아니오를 묻는 何か와 개방형 질문인 何를 혼동함)
• 로컬 라우터 (oc/jev-1.13-free):
  • is_flawless: 0.07 (correctly marked false)
  • grade_bracket: 5_moderate_error (confidence 0.98)
  • sentence_critique_summary: confused_indefinite_with_wh_word (confidence 0.96)
  • Result: Accurately docks to 5–6/10 and explains the question-type mismatch.
• Aihubmix (decision-model-preview):
  • is_flawless: 0.98 (marked true!)
  • grade_bracket: 10_flawless
  • sentence_critique_summary: no_flaws_accurate