r/OpenAI•약 9시간 전•3•7
GPT-6 Luna, 1,000건의 고객 지원 채팅 테스트에서 가장 저렴하고 정확한 콜 라우팅 성능 기록
GPT-6 Luna had the best call-routing accuracy of 6 models I tested on 1,000 support chats, and it was the cheapest LLM
핵심 요약
GPT-6 Luna 모델이 1,000건의 고객 지원 채팅 분석 테스트에서 가장 높은 정확도와 저렴한 비용을 기록함.
- 성능 우위 — 고객 문의 의도 파악 및 분류 작업에서 타 모델 대비 가장 높은 정확도 기록함.
- 비용 효율성 — 캐시 활용을 통해 1,000건당 0.11달러라는 가장 저렴한 비용을 달성함.
- 기술적 한계 — 처리 속도가 가장 느리고 환불 관련 처리 성능은 타 모델보다 다소 낮음.
- 벤치마크 공개 — 테스트에 사용된 노트북과 데이터셋을 깃허브에 공개하여 투명성 확보함.
벤치마크: 6개 모델이 동일한 고객 서비스 채팅 1,000건(ABCD 데이터셋)을 라벨링함. 질문 7개씩, 시스템 로그와 대조해서 점수 매김. 기본 설정, 동일 프롬프트, 엄격한 구조화 출력 적용.
GPT-6 Luna:
-
"고객이 왜 연락했는가" (86.6%)와 55개 옵션 의도 질문 (78.8%)에서 제로샷 성능 1위.
-
상담 사유 파악에서 결정 모델인 Jev를 5.4점 차이로 따돌린 게 이번 테스트에서 제일 돋보이는 결과임. 42번 비교 보정 후에도 이 격차는 그대로 유지됨.
-
제일 싼 LLM: 채팅 1,000건당 $0.11 (입력값의 87%가 공유 질문 블록에서 캐시 히트됨).
-
단점: 중앙값 기준 속도가 제일 느림(채팅당 1.95초). 환불 관련 처리는 좀 약함(F2 0.73, Haiku 4.5는 0.86).
노트북이랑 전체 통화 내역: https://github.com/CaffeinatedSoftwareLLC/AI-Data-Bench 광고 아님. 건설적인 피드백 환영함.
