Claude와 함께 만든 스파이더맨 안드로이드 런처, 제대로 꽂혀버렸네요

또 하나 짜증 났던 게 폰이 커지니까 화면 상단 알림창 건드리는 거였음. 그래서 화면 하단에 오버레이를 띄워서, 거미줄 컨셉이랑 비슷하게 엄지손가락 뻗을 필요 없이 슥 밀어서 알림 지우거나 상호작용하게 만들었다.

C. 비서 기능

이건 스파이더맨 기믹이랑은 좀 동떨어진 건데, 그냥 AI 모델이랑 홈 어시스턴트 같은 거 가지고 놀려고 만든 거임. 솔직히 자비스는 AI가 칫솔에도 들어가는 2008년이 훨씬 멋있었지. 그래도 최첨단 AI 가지고 노는 건 여전히 재밌다.

비서 기능 중에 몇 가지 흥미로운 부분이 있음.

제미나이에는 꽤 괜찮은 실시간 대화형 모델이 있다. 음성을 텍스트로 바꾸고 다시 텍스트를 음성으로 바꾸는 게 아니라, 양방향으로 오디오 스트림이 바로 꽂힘. 말하는 도중에 끊을 수도 있다. 함수 호출(function calling)도 지원해서, 폰에 있는 모든 기능을 함수로 등록해두면 다 실행할 수 있음.

노트북, 폰, 라즈베리 파이 전부 서로 통신하려고 tailscale 깔아놨음. 어시스턴트 함수 호출 중 하나가 노트북에서 API를 통해 Claude한테 연결됨. 노트북은 폰이랑 원격 adb로 연결돼 있어서, 빌드 새로 해서 폰에 바로 설치하는 식으로 반복 작업이 가능함. 이게 피드백 루프의 전부임. 라즈베리 파이는 차고 문이나 스마트 오븐 같은 잡다한 스마트 홈 기기 제어용임. 3D 프린터용 OctoPi 서버로도 쓰고 있어서 조만간 이것저것 건드려 볼 예정임.

어시스턴트는 이벤트를 감시하다가 특정 장소에 들어가거나 나갈 때 지오펜스(geofence)를 작동시킬 수 있음. 메모리 파일에는 장소나 취향 같은 것들이 저장되는데, Claude가 자기 자신한테서 영감을 받아서 만든 거임. 메모리 조회도 그냥 함수 호출 하나면 끝남.

"집에 올 때마다 차고 문 열어줘",

"코스트코 데려다줘, 아 그리고 도착하면 앱도 켜줘".

집에서 거리가 똑같은 코스트코가 두 군데 있는데, 내가 선호하는 곳을 딱 기억함. 다른 쪽은 사람이 너무 많아서 정신없거든.

Claude가 알아서 연동한 또 다른 재밌는 기능은 Spotify 개발자 계정인데, 이걸로 청취 기록 API에 접근할 수 있음. 그래서 내가 특정 장르 틀어달라고 하면 최근에 내가 어떤 플레이리스트를 들었는지 파악해서 몇 개 추천해 줌.

D. 목소리

어시스턴트한테 마지막으로 한 짓은 좀 병신 같음. 기본 구글 음성 모델도 괜찮긴 한데, 왜인지 Jarvis나 Karen, Edith, EV, 귀에 꽂히는 어시스턴트 특유의 느낌이 안 남. 이유를 깨달았는데, 목소리 자체나 성격, 말투 문제가 아니었음.

그냥 말 그대로 사운드 디자인 문제였음.

AI 음성 모델들은 사람처럼 들리려고 엄청 애쓰고, 실제로도 잘함. 반면에 Jarvis는 폴 베타니라는 사람이 연기한 건데, 오히려 기계처럼 들리게 하려고 보정을 거쳤음. 인생이란 게 다 그런 거지.

해결책: 박스 느낌 나는 중음역대 EQ, 코러스 살짝, 슬랩백 딜레이 약간, 그리고 징징거리는 링 모듈레이션 좀 섞었음. Claude가 폰에서 이거 조절할 수 있게 벤치마크 툴을 만들어 줌. Gemini에서 넘어오는 오디오 스트림에 실시간으로 바로 적용됨. 영상에서 들리는 것처럼 목소리에 약간 합성된 질감이 섞임. 난 오히려 사람 흉내 내는 어시스턴트들보다 이게 덜 거슬려서 좋음.

쇼케이스

마지막으로 Claude가 해낸 쩌는 일은 이 쇼케이스를 직접 만든 거임. 폰 화면 영상은 전부 Claude가 제어하는 에뮬레이터에서 화면 녹화한 거임(그러니까 지금 내 폰에서 실제로 다 돌아가는 거 맞음). 화면 캡처본을 ThreeJS 플레이어에 비디오 텍스처로 입혀서 쇼케이스를 구성했음. Claude가 픽셀 폰이랑 다른 잡다한 모델링 대충 만들었는데, 너무 과하게 하진 않았음. Claude가 Blender 들어가서 레이 트레이싱까지 조지자고 하길래, 야 뭐 팔 것도 아닌데 적당히 하라고 컷했음.

꽤 괜찮지 않냐?