GPT-Live-1 음성 에이전트 첫인상: 지시 이행 문제 다수 발견

공개: 우리는 AI 전화 에이전트(ThunderPhone)를 만드는 팀이라 손에 들어오는 새로운 음성 모델은 죄다 테스트해 본다. GPT-Live-1을 이틀 동안 굴려본 결과는 이렇다. 약 13,000 토큰 분량의 보험 자격 확인 스크립트, 실제 전화 테스트 12건, 그리고 시뮬레이션 테스트 약 25건을 돌려봤다.

장점: 지금까지 전화기에 올려본 모델 중 가장 자연스럽다. 풀 듀플렉스(Full-duplex) 방식이라 턴 테이킹, 끼어들기, 맞장구 같은 게 그냥 자연스럽게 된다. 실제 전화 연결 상태에서 상대방이 말을 멈춘 뒤 첫 오디오가 나오기까지 약 1.3초 걸렸는데, 우리 쪽에서 VAD나 턴 테이킹 로직을 따로 짠 것도 없었다.

단점: 지시사항을 제대로 안 따른다.

• 분명히 "예"라고 했는데 "아니오"로 알아듣고 질문을 다시 하는 경우가 한두 번이 아니다.

• 프롬프트를 너무 문자 그대로 받아들인다.

• 압박을 받으면 전화기 너머로 혼잣말을 한다 ("음, 이건 신중하게 처리해야겠군. 일단 알겠다고 하고 넘어가자.").

영숫자 처리가 불안하다. 14자리 청구 번호를 읽어주는데, 코드에도 없고 모델 스스로 작성한 스크립트에도 없는 "Y"를 멋대로 붙여서 읽더라. 러시아어에서는 "Q"가 둘 다 "X"로 바뀌어 나왔다. 숫자로 된 날짜는 나중에 "오십오 년 구십오 월" 같은 식으로 튀어나왔다. 둘 다 포스트에 오디오 클립으로 올려놨다.

억양 문제. 러시아어는 유창하긴 한데 미국식 억양이 너무 심하다. 루간다어는 의외로 괜찮았는데, 제대로 작동시키기까지 두 번이나 시도해야 했다 (첫 번째 루간다어 전화에는 AI가 스와힐리어로 대답함). 루간다어도 미국식 억양이 진하게 묻어난다.

스크립트랑 오디오 클립이 포함된 전체 포스트: https://thunderphone.com/blog/gpt-live-first-impressions

셋업 관련해서 궁금한 거 있으면 다 물어봐라. 정보 공유 환영한다. 혹시 나랑 똑같은 문제 겪고 있는 사람 있냐? 아니면 다른 문제라도 발견한 사람?