AI 에이전트에게 음성 기능을 달아줬더니, 이제 없이는 못 살겠네요!

어떤 에이전트 쓰는 거야? 그리고 '업무를 지켜본다(watches your work)'는 게 정확히 무슨 뜻이야?

OpenClaw를 써. 지켜본다는 건 OS 수준의 접근 권한이 있어서 화면 스크린샷을 찍고 진행 상황을 알려주거나, bash 명령어를 실행하는 등 온갖 일을 다 할 수 있다는 뜻이야. 내 대신 프로젝트 작업을 할 수도 있어.

진짜 유용해 보이네. 특히 WhatsApp 음성 메모로 모든 걸 관리할 수 있다는 게 대단해. 에이전트한테 이메일, 캘린더, 연락처 접근 권한을 줄 때 개인정보나 보안은 어떻게 처리하는지 궁금해.

그리고 에이전트가 실제로 어느 정도의 감독이 필요해? 개입해야 할 만큼 실수를 하기도 해, 아니면 이제 완전히 믿고 맡길 수 있는 수준이야?

고마워.

1. 일단 WhatsApp 메시징이랑 직접 연결해서 OpenClaw 엔드포인트를 외부에 노출하지 않았어. OpenClaw가 WhatsApp에서 제공하는 페어링 과정을 통해 메시지를 올바른 인스턴스로 자동 전달해 줘.

음성 메모 기능 진짜 맘에 드네. 여러 앱 열 필요 없이 음성 메모만 보내서 업무 처리하는 건 차원이 다른 수준인데, 대부분의 어시스턴트는 못 하는 거잖아. 왓츠앱 연동 설정하는 거 얼마나 어려웠어?

왓츠앱으로 음성 메모 주고받을 때 레이턴시(지연 시간)는 어떻게 처리하는지 궁금하네. 전사(transcription)는 로컬 모델 돌리는 거야, 아니면 Whisper API 쓰는 거야?

레이턴시는 확실히 있어. 난 Whisper를 로컬에서 돌려. 비용을 최소화하고 싶거든. 그래서 가능하면 OpenRouter 무료 모델을 쓰고, 안 되면 로컬로 돌렸다가 Anthropic으로 넘어가. 근데 이건 실시간 시스템이 아니야. 시간이 걸리는 게 당연함. 그게 핵심이거든. 모델이 철저하게 조사하고 업무를 끝낸 다음에 음성 응답을 보내길 원해서 일부러 그렇게 한 거야. 실시간 채팅이 필요했으면 그냥 ChatGPT를 켰겠지.

이게 딱 맞는 폼팩터지. 왓츠앱을 통한 음성 입력과 출력, 사람들이 이미 거기서 살고 있으니까. 주의해야 할 실패 사례는 에이전트가 실제로 하지도 않은 일을 했다고 확인해 주는 거야. 우리는 돈이나 일정, 혹은 다른 사람과 관련된 작업은 음성 메모 뒤에 짧은 서면 영수증을 보내게 설정했어. 음성은 인터페이스고, 영수증은 신뢰지.

나도 똑같이 해. 정확히 뭘 했는지 텍스트로도 보내주거든. 근데 거의 읽지는 않음. 그래도 디버깅할 땐 유용하긴 하더라.

WhatsApp 음성 메모 방식은 영리하네. 운전하면서 앱 6개씩 왔다 갔다 하는 것보다 훨씬 자연스러울 듯. 태권도장 얘기는 내가 딱 원하던 거야. 대시보드 붙잡고 씨름할 필요 없이 그냥 말만 하면 알아서 후속 조치까지 해주니까. 음성 변환이랑 커스텀 스킬은 뭘 쓰는 거야? 아니면 전부 하나의 스택으로 돌아가는 거야?