Perplexity, Decider v1.3(26B) 및 Decider Flash v1.3(5B) 공개: 오픈 웨이트(Apache 2.0) 분류/결정 모델

Perplexity에서 새로운 "결정 모델(decision models)" 두 개를 내놨다. 생성형 LLM 백본을 기반으로 만든 범용 분류기라고 보면 된다. 입력값("상태")이랑 질문 하나 이상을 던져주면, 답변 옵션들에 대한 확률 분포를 뱉어내는 방식임. 텍스트를 토큰 단위로 생성하는 게 아님.

모델

• pplx-decider-v1.3: Qwen3.8-27B를 파인튜닝함. BF16 가중치 돌리려면 49 GiB 정도 필요함.

• pplx-decider-flash-v1.3: Qwen3.5-4B 기반이고, 27B 모델의 분포를 KL 발산(KL objective)으로 증류(distilled)해서 만듦. BF16 가중치에 8.5 GiB 정도 먹음.

• 둘 다 Apache 2.0 라이선스고, 텍스트랑 이미지 다 지원함. OpenRouter랑 Perplexity API로도 쓸 수 있음.

주요 기능

• 질문 유형: 예/아니오, 객관식(최대 255개 옵션), 순위 매기기, 그리고 새로 추가된 locate 타입이 있음. locate는 NER(개체명 인식), PII(개인정보) 탐지, 추출형 QA를 위해 문자 오프셋이랑 함께 원문 그대로의 구간을 뽑아줌.

• 여러 질문이 하나의 상태를 공유할 수 있음. 기본적으로는 질문마다 각각 시퀀스를 돌리는데, "isolated" 모드를 쓰면 상태를 한 번만 읽어서 질문이 많을 때 가성비가 좋음. 다만, 요청에 어떤 질문들이 포함되느냐에 따라 답변이 살짝 바뀔 수 있음.

• 백본의 풀 어텐션(full-attention) 레이어를 양방향(bidirectional)으로 바꿨음. 그래서 얘네 전용 pplx_decider 패키지를 써야 함. 그냥 일반적인 인과적 추론(causal inference) 방식으로는 결과값이 제대로 안 나옴.

• 학습은 약 30k 토큰 정도의 시퀀스를 사용함.

v1.3 신기능: locate
분류뿐만 아니라 이제 구간 추출도 가능함. "type": "locate"로 질문을 추가하고 필드를 설명하면 되는데, 짧은 라벨("person", "email address")이나 지시문("계약서에 서명한 사람")을 쓰면 됨. 모델이 상태값에서 원문 그대로의 구간을 찾아내고, 시작/끝 문자 오프셋이랑 점수를 같이 뱉어줌. 일치하는 게 없으면 빈 리스트를 반환함.

이건 텍스트만 지원하고(이미지 불가), 요청당 최대 128개의 locate 질문을 처리할 수 있음. 별도의 LoRA 어댑터랑 스팬 헤드(span head) 위에서 돌아가는데, Perplexity가 이걸 합치지(merge) 않고 놔뒀음. 합치면 분류 성능이 떨어지기 때문임. 그래서 locate랑 결정 질문을 섞어서 요청하면 포워드 패스(forward pass)를 추가로 돌려야 함.

도메인 밖(out-of-domain) NER, PII, 추출형 QA, 구조화된 추출 등 17개 작업에서 Perplexity가 밝힌 평균 점수는 69.0(v1.3), 63.6(Flash)임. Liquid d1(43.3), Cloudflare Clairic(41.5), GLiNER large v2.5(33.6)보다 훨씬 잘 나옴. 비슷한 툴로는 라벨에서 제로샷으로 구간을 뽑는 GLiNER랑, 원문 구간이 아니라 타입별 값을 뽑는 Clairic 정도가 있음.