Jetson Orin NX 기반의 완전 오프라인 여행 가방 로봇 'Sparky' 제작기
핵심 요약
Jetson Orin NX와 Gemma 4 E4B를 활용해 네트워크 연결 없이 작동하는 지능형 여행 가방 로봇을 개발함.
- 하드웨어 구성 — Jetson Orin NX 16GB를 기반으로 30개 이상의 센서와 디스플레이를 통합함.
- 모델 최적화 — Gemma 4 E4B 모델을 활용해 200ms 수준의 빠른 TTFT와 15 tok/s 성능을 구현함.
- 프롬프트 구조 — 캐시 안정성을 위해 시스템 프롬프트와 동적 센서 데이터를 분리하여 응답 속도를 개선함.
- 완전 오프라인 — WiFi나 블루투스 없이 온디바이스 제어만으로 작동하는 독립형 시스템을 구축함.
Sparky는 전적으로 Jetson에서 구동됩니다. Gemma 4 E4B 모델을 llama.cpp를 통해 Q4_K_M 양자화로 실행하며, q8_0 KV 캐시와 flash attention을 적용했습니다. 12K 컨텍스트, 네이티브 시스템 역할, 모델 카드 기본 샘플러 설정을 사용합니다. 캐시된 TTFT는 약 200ms이며, 14-15 tok/s의 속도를 꾸준히 유지합니다. STT에는 SenseVoiceSmall, 43Hz 입 모양 동기화를 지원하는 TTS에는 Piper를 사용하며, 뚜껑 디스플레이에는 PixiJS 얼굴을 띄웠습니다. 비전과 OCR은 이제 Gemma 4에 내장되어 있어 BLIP 서브프로세스는 제거되었습니다. 30개 이상의 센서 데이터는 매 턴 자연어 형태로 프롬프트에 통합됩니다.
가장 큰 성과 중 하나는 캐시 안정성을 위한 프롬프트 구조입니다. 상단에는 페르소나와 도구, 중간에는 대화 기록, 최신 사용자 턴의 끝에는 휘발성 센서 및 비전 데이터를 배치했습니다. 동적 컨텍스트를 시스템 블록에서 분리함으로써 캐시된 TTFT를 수 초에서 약 200ms로 단축했습니다.
버튼 열, 조이스틱, 아날로그 인코더 노브를 통해 기기 자체에서 완전히 설정 가능합니다. 네트워크 인터페이스는 전혀 없습니다.
Orin급 하드웨어에서 E4B를 구동 중인 분이 계신지 궁금합니다. tok/s 성능을 비교해보고 싶고, 프리픽스 캐시를 날리지 않으면서 센서나 도구 컨텍스트를 어떻게 처리하고 계신지 공유해주시면 감사하겠습니다.
