ConvFill을 활용한 빠른 음성 에이전트
Fast voice agents with ConvFill
핵심 요약
작은 모델이 즉각적으로 응답하고 큰 모델이 추론하는 동안 시간을 벌어주는 ConvFill 기술을 소개합니다.
- 기술적 접근 — 작은 모델이 즉시 대화를 이어가고 큰 모델이 추론 결과를 제공함
- 실시간성 확보 — 추론 지연 시간을 채워주어 자연스러운 대화 흐름을 만듦
- 학술적 배경 — 워싱턴 대학교 UbiComp 연구소에서 개발하여 EMNLP에서 발표 예정
- 데모 공개 — 허깅페이스 스페이스를 통해 직접 체험 가능
음성 에이전트는 빠르거나 똑똑하거나 둘 중 하나지. ConvFill은 이 간극을 메우려고 0.6B짜리 쪼끄만 '토커(talker)' 모델을 훈련시켜서, 거대 '리저너(reasoner)' 모델이 주는 컨닝 페이퍼를 보고 말하게 하는 방식을 제안했어.
작동 원리는 이래. 사용자가 말을 하면 일단 토커가 빠르게 대답해서 시간을 벌고, 그 사이에 리저너가 생각을 하는 거지. 그다음 리저너가 적절한 답변을 생성하면 토커가 그걸 읽어서 대화를 이어가는 식이야.
마치 로켓 과학자들하고 토론회 나갔는데, 귀에 꽂은 이어폰으로 전문가가 뭐라고 말할지 다 알려주는 상황이랑 비슷해. 들키지 않으려고 일단 빠르게 대답부터 던져놓고, 나중에 이어폰 속 전문가가 시키는 대로 말하는 거지.
직접 써보니까 핵심 아이디어는 확실하고 방향성도 아주 좋아 보이는데, 이게 마법처럼 작동하려면 토커 모델이 지금보다 조금 더 똑똑해져야 할 것 같아. 그래도 진짜 흥미로운 방향인 건 확실함!
ConvFill은 워싱턴 대학교 UbiComp Lab 학생들이 개발했어. 너무 괜찮아 보여서 내가 직접 연락했고, 같이 제대로 된 데모를 만들어보기로 했지. 이번 주 EMNLP에서 논문 발표도 한다더라.
데모는 여기서 직접 해봐: https://huggingface.co/spaces/smolagents/convfill-speech-demo
