NASA, 미래 우주 임무를 위한 로컬 LLM 추론 테스트 진행
NASA testing local LLM inference for future space missions
핵심 요약
NASA가 우주 비행 중 의료 지원을 위해 클라우드 의존 없이 로컬 하드웨어에서 LLM을 구동하는 CMO-DA 시스템을 테스트 중입니다.
- CMO-DA 시스템 — 우주 비행 중 의료 진단 및 치료를 돕는 AI 보조 도구임
- 로컬 LLM 구동 — 클라우드 연결 없이 로컬 하드웨어에서 모델을 실행함
- RamaLama 활용 — llama.cpp 기반의 CLI 도구로 모델을 컨테이너처럼 관리함
- 우주 환경 테스트 — ISS에 탑재된 HPE Spaceborne Computer의 지상 모델에서 검증함
redhat.com
원문 사이트로 이동
지난주 Red Hat은 제가 존슨 우주 센터의 NASA 연구원들과 함께 구축한 의료 AI 보조 도구 이니셔티브에 관한 블로그 게시물을 발표했습니다. 이 시스템은 '승무원 의료 담당관 디지털 보조 도구(CMO-DA)'라고 불리며, 클라우드 의존 없이 로컬 하드웨어에서 LLM 및 기타 모델을 실행합니다. 또한 추론 관리를 위해 RamaLama를 통해 llama.cpp를 사용하고 있습니다.
달이나 화성 임무를 수행 중인 우주비행사들은 실시간으로 의사에게 전화를 걸 수 없습니다. 빛의 지연과 통신 두절로 인해 지구 기반의 원격 의료는... 비실용적입니다. 그래서 NASA는 우주 비행 의료 문헌에 RAG를 적용한 AI를 사용하여 승무원이 의학적 증상을 진단하고 치료하는 데 도움을 줄 수 있는 온보드 시스템을 원하고 있습니다.
RamaLama는 (Red Hat이 지원하는) 오픈 소스 CLI 도구로, llama.cpp 및 기타 추론 엔진(MLX, vLLM 등)을 래핑합니다. 컨테이너 이미지를 가져와 실행하는 것과 같은 방식으로 모델을 가져와 실행할 수 있으며, GPU 자동 감지 및 패스스루 기능을 제공합니다. 이 프로젝트는 AI 모델을 맞춤형 설치가 아닌 휴대 가능한 아티팩트로 취급하는데, 이는 접근할 수 없는 엣지나 우주 하드웨어에서 재현 가능하고 암호학적으로 검증 가능한 배포가 필요할 때 정말 중요합니다.
CMO-DA는 클라우드 연결형 개념 증명으로 시작되었으나, 팀은 이를 HPE 하드웨어에서 실행되는 연결 해제된 엣지 배포로 옮겼습니다. 현재 그들은 ISS에 탑재된 HPE Spaceborne Computer의 지상 모델에서 테스트를 진행 중입니다.
NASA가 로컬 우선 아키텍처를 선택한 이유는 사실 다른 선택지가 없었기 때문입니다. 모델은 우주선 내에 맞는 컴퓨팅 환경에서 실행되어야 하며, 출력 결과는 의료적 결정을 내릴 수 있을 만큼 신뢰할 수 있어야 합니다.
저는 이것이 로컬 및 오픈 LLM이 미래라는 것을 뒷받침하는 가장 설득력 있는 사례 중 하나라고 생각합니다. 여러분도 그렇게 생각하시길 바랍니다!
RamaLama 저장소: https://github.com/containers/ramalama
