검열되지 않고 삭제된(abliterated) 모델을 제공하는 5개 업체의 벤치마크 결과
I benchmarked 5 providers offering uncensored and abliterated models. Here are the results
핵심 요약
검열되지 않은 모델을 제공하는 주요 추론 서비스들의 성능과 비용을 비교 분석한 결과입니다.
- 성능 벤치마크 — JarvisLabs, Refuseless 등 주요 업체의 TPS 및 TTFT 측정함
- 비용 효율성 — AbliteratedLLM이 가장 저렴하며 Refuseless가 속도와 비용의 균형이 좋음
- 모델 다양성 — AnonRouter가 가장 다양한 검열 해제 모델을 제공함
- 추론 디렉토리 — 독립적인 비교 사이트를 통해 다양한 모델 제공업체 정보를 공유함
검열 없고 성능 제한 풀린(abliterated) 모델 제공하는 추론 업체들, 특히 코딩 작업할 때 실제로 어떤지 테스트 좀 해봤다.
이번에는 JarvisLabs, Silk Compute, AnonRouter, Refuseless, AbliteratedLLM 얘네들 대상으로 DeepSeek V4.1 Flash, GLM-5.3 Flash, GLM-5.3 모델 돌려봄.
흥미로운 결과 몇 개 나옴:
DeepSeek V4.1 Flash
-
JarvisLabs는 329 TPS 찍었고 TTFT는 131 ms밖에 안 나옴.
-
AnonRouter의 검열 없는 DeepSeek 루트는 전체 모델 스윕에서 170 TPS 기록함.
-
JarvisLabs가 동일 모델 비교군에서 달러당 TPS 가성비 제일 좋았음.
GLM-5.3 Flash
-
Refuseless의 성능 제한 풀린 엔드포인트는 117 TPS 찍음.
-
AbliteratedLLM은 테스트한 작업량 기준으로 $0.18로 제일 쌌는데, 대신 58 TPS 나옴.
-
Refuseless는 $0.28에 속도랑 비용 밸런스 아주 괜찮았음.
GLM-5.3
-
Refuseless가 177 TPS로 1등 먹음.
-
AnonRouter는 95 TPS, Silk Compute는 89 TPS 나옴.
그 외 몇 가지 관찰한 점:
-
Silk Compute: 월 10달러짜리 코딩 구독 상품 있는데 여기에 성능 제한 풀린 모델 포함됨. Kimi K3.1 Pro 검열 없는 엔드포인트는 99 TPS 찍더라.
-
AnonRouter: 이번 비교군 중에서 검열 없는 모델 종류 제일 많음.
