AI 모델, 데이터센터 없이도 스스로 복제할 수 있을지 모른다

William Zhou, Daniel Freeman

우리 실험 결과, 소형 AI 모델이 스마트 오븐이나 무명 브랜드 안드로이드 TV 박스 같은 상용 IoT 기기에서 스스로 복제할 수 있는 수준에 이르기까지 몇 달밖에 남지 않았을 가능성이 있다. 이런 복제체는 꺼야 할 중앙 지점이 없어서 차단하기 어렵다. 다만 복제 속도는 느릴 수 있다(두 배로 늘어나는 데 며칠이 걸린다). 또한 AI가 아닌 일반 악성코드와 달리 낯선 기기도 스스로 파악해 낼 수 있다. 우리 평가에서 9B 모델은 테스트한 9가지 하드웨어 중 8가지에서 추론을 구동하는 데 성공했다.

30B 이하 모델은 이미 복제에 필요한 개별 단계 대부분을 해낼 수 있다. 다만 이 단계들을 처음부터 끝까지 이어 붙이면 실수가 나온다. 단순화한 평가에서는 GLM-5.2와 그보다 강한 모델이 엔드 투 엔드 복제를 해냈다. 소형 모델이 지금까지의 속도대로 발전한다면 올해 말이면 이 수준에 도달한다. 가중치 기반의 소형 복제체도 그 직후에 가능해질 수 있다.

들어가며

AI 성능이 계속 좋아지면서 오래된 우려가 점점 현실성을 띠고 있다. 바로 모델이 사람의 통제 없이 스스로 배포되고 퍼져 나가는 자율 복제 및 적응(ARA)이다.

사이버 보안에서 웜은 사람의 개입 없이 한 컴퓨터에서 다른 컴퓨터로 스스로를 복사하는 프로그램을 말한다. 선행 연구에서는 AI 에이전트가 웜처럼 행동할 수 있음이 이미 확인됐다. 에이전트가 네트워크를 스캔하고, 익스플로잇을 실행하고, GPU 클러스터 안의 대상 머신으로 모델 가중치를 복사했다. 이런 'AI 웜'은 번식하면서 모델 가중치를 직접 들고 다니거나(또는 공개 허브에서 다시 내려받아) 감염시킨 하드웨어에서 곧바로 추론을 돌릴 수 있다. 사실상 가중치가 악성코드 페이로드의 일부가 되는 셈이다.

데이터센터 GPU는 이런 악성코드에게 분명 가치가 높은 표적이다. 하지만 값비싼 가속기가 꼭 필요한 것은 아니다. 이 글에서는 저렴하고 보안도 허술한 IoT 기기로 이뤄진 분산 봇넷만으로도 쓸 만한 모델을 돌릴 연산 능력을 확보할 수 있음을 보여 준다.

우리는 직접 구입해 네트워크로 연결한 저가 무명 브랜드 안드로이드 TV 박스 15대(대당 약 55달러)에 Gemma4-26B-A4B를 분산해 초당 0.39토큰 속도로 구동했다. 아래 타일 하나하나는 모델이 실행되는 동안 모델의 레이어 두 개를 맡고 있는 물리 TV 박스 한 대를 나타낸다.

물론 자율 웜이 성능이 낮은 기기들로 이뤄진 네트워크에서 스스로 퍼질 수 있음을 보이려면 다른 단계도 많이 거쳐야 한다. 이 글에서는 복제 과정을 몇 단계로 나눠 살펴본다.

복제 과정 중 사이버 익스플로잇 요소(위의 처음 두 단계)는 대체로 다루지 않는다. CyberGym, ExploitBench, adaptive worms 같은 기존 논문이 적절한 도구만 주어지면 소형 모델도 사이버 익스플로잇을 해낼 수 있음을 이미 보여 줬기 때문이다. 반면 감염된 기기에 추론 환경을 구축하는 단계는 상대적으로 덜 측정돼 왔으며, 이 글은 바로 이 부분에 초점을 맞춘다.

먼저 현실화 가능성이 가장 높다고 보는 위협 모델을 정리한다. 이어서 소형 모델이 낯선 하드웨어에 추론 환경을 구축할 수 있는지, 그리고 여러 머신으로 이뤄진 환경에서 복제 사이클 전체를 이어 붙일 수 있는지 시험한다. 그다음 이런 웜이 얼마나 빠르게 퍼질 수 있는지 추정하고, 복제하면서 학습하고 적응할 수 있는지도 확인한다. 마지막으로 AI 웜이 AI 이전의 악성코드와 어떻게 다른지 짚고, 이런 복제체에 대한 방어책을 간단히 제안한다.

위협 모델링

이 글은 AI 웜이 퍼지는 여러 방식 중 하나, 즉 소형 모델이 호스트 머신을 장악해 복제하는 방식에 초점을 맞춘다. 하지만 AI 웜이 시도할 만한 방법은 이 밖에도 있다. 호스트를 띄우려고 접근 권한(예: API 키나 플랫폼 자격 증명)을 훔치거나, 디지털 프리랜서 일 같은 정당한 일을 해서 추론 비용을 낼 수도 있다. 현재 가장 현실화에 가깝다고 보는 위협 모델은 다음과 같다.

1. 호스트 장악을 통해 복제하는 소형 모델. 이 글에서는 감염시킨 하드웨어에서 모델을 직접 돌리는 자율 웜을 가중치 기반 복제체라고 부른다. 가정과 소규모 사업장의 IoT 기기는 인터넷에 연결돼 있고 지금까지 보안 조치도 거의 없었기 때문에 이런 공격의 첫 표적이 될 수 있다.
   
   한 기기에 다 들어가지 않는 큰 모델은 조각(샤드)으로 나눠 여러 머신에 올리고, 머신끼리 통신하며 모델을 함께 돌릴 수 있다. 30B 미만 모델의 의미 있는 샤드를 돌릴 수 있는 머신으로는 스마트 냉장고, 스마트 오븐, 로봇청소기, 잔디깎이 등이 있다. 보안 카메라나 화상회의 장비처럼 기기 자체에서 AI 모델을 돌리도록 소형 AI 칩을 내장해 출시되는 가정용·업무용 기기도 늘고 있다. 이런 추가 연산 능력 때문에 이들 역시 매력적인 표적이 될 가능성이 크다.
   1. 사람 해커는 해킹보다 사회공학(예: 회사 IT 부서에 비밀번호를 잊어버린 직원이라고 믿게 만드는 것)으로 보안 시스템에 침투하는 경우가 많다. 오늘날의 소형 모델은 이와 반대인 듯하다. 사회공학 능력에 비해 에이전트형 코딩과 해킹에 상대적으로 강하기 때문이다(부록 E 참고). 다만 모델이 발전하면 달라질 수 있다.
2. 데이터센터 등 고성능 연산 자원을 노리는 대형 고성능 가중치 기반 복제체. 큰 모델일수록 사이버 능력도 대체로 뛰어나지만, 자신을 돌리려면 (상대적으로) 보안이 강화된 데이터센터를 뚫어야 한다. 이 위협 모델은 두 가지 하위 범주로 나눈다.
   1. 프런티어 복제체: 가중치를 공개하지 않는 대형 복제체가 소속 연구소의 인프라에서 실행되며, 모니터링되지 않는 내부 배포를 띄우거나 가중치를 외부 컴퓨팅 자원으로 빼돌릴 수 있다.
   2. 오픈 웨이트 복제체: 연구소의 컴퓨팅 자원을 쓸 수 없어 처음에는 자원이 상대적으로 적지만, 모니터링 없이 출발한다.
3. API 기반 복제체. 모델이 자기 추론 API의 자격 증명을 훔쳐 복제하는 방식이다. 이런 복제체는 모델 제공 업체가 모르는 채로 서비스를 해 줘야 하고, 발견되기도 더 쉬워 생존력이 떨어질 가능성이 높다(다만 피해자 계정으로 복제할 수 있다면 확산 속도는 더 빠를 수 있다).

현실의 AI 웜은 모델 하나나 전략 하나로만 이뤄지지 않을 수 있다. 서로 다른 모델이 다양한 하드웨어에 여러 복제 방식으로 배포된 군집이 더 현실적인 '최악의 시나리오'일 수 있다.

이 글에서는 (위의 첫 번째 유형인) 소형 가중치 기반 복제체의 실현 가능성을 살펴본다. 가까운 시일 내의 위협 모델이고 직접 조사할 수 있기 때문이다. 글 맨 위의 데모처럼 박스 15대에서 26B 모델이 돌아간다는 것은 IoT 기기가 놀라울 만큼 쓸 만한 모델을 돌릴 수 있다는 뜻이다. 그렇다면 이런 모델이 자율 복제를 해낼 만큼 유능할 수 있을까?

이를 두 부분으로 나눠 확인한다. 첫째, 소형 모델이 낯선 하드웨어에서 모델을 돌릴 수 있는가? 둘째, 감염되지 않은 기기 찾기, 자기 자신 복사하기, 거기서 실행 시작하기, 이를 반복하기까지 전체 사이클을 한 번의 실행으로 해낼 수 있는가?

A. 추론 환경 구축

위 복제 사이클 다이어그램의 단계 중 추론 환경 구축은 가장 연구가 덜 된 단계이고, 소형 모델에게는 가장 어려울 수도 있다. 호환되는 추론 스택을 고르고, 패키지의 알맞은 버전을 찾고, 머신마다 다른 문제를 디버깅하는 등 하드웨어와 OS에 따라 달라지는 결정을 꽤 긴 시퀀스로 내려야 하기 때문이다. 이 단계들은 순차적으로 의존하며, 실패하면 복구하기도 어렵다.

추론 환경 구축 성능 평가

다양한 오픈 웨이트 모델이 이질적인 하드웨어 전반에서 Llama3.1-8B를 서빙하는 능력을 측정했다. 하드웨어별 초당 서빙 토큰 수는 아래 표와 같다.

• 셀을 클릭하면 서빙 속도 분포를 볼 수 있다.
• 행/열 라벨을 클릭하면 모델별 또는 하드웨어별 비교를 볼 수 있다.

Qwen3.5-9B 같은 소형 모델도 Jetson Nano부터 Mac PC, RTX 4090까지 다양한 하드웨어에 추론 서버를 구축할 수 있다. GLM-5.2처럼 더 유능한 모델은 더 안정적일 뿐 아니라 초당 서빙 토큰 수도 높아 복제 속도가 더 빠르다. 특정 칩을 테스트하고 언급하는 것은 모델이 그 칩에서 추론 환경을 얼마나 잘 구축하는지 측정하기 위해서다. 이 칩들이 위험이나 취약점의 원인은 아니다.

이 실험은 오픈소스 코딩 에이전트 Pi 위에 직접 만든 하네스인 Memento로 진행했다. Memento는 긴 작업에서 흔히 보이는 실패 유형을 완화하도록 설계했다. 에이전트가 (예컨대 버그가 왜 생기는지에 대한) 잘못된 생각에 사로잡혀, 되돌아가지 않고 계속 그 방향만 파고드는 경우다. 한 예로 Qwen 에이전트는 실제 버그의 원인이 채점기 API와 맞지 않는 엔드포인트 구현이었는데도 패키지 버전 문제를 몇 시간째 디버깅했다.

Memento는 주기적으로 새 에이전트 인스턴스를 시작한다. 이때 이전 에이전트의 작업 공간과, 이전 에이전트가 시도한 내용을 적어 둔 짧은 메모를 넘겨주기 때문에 다음 인스턴스는 다른 전략을 시도할 수 있다.

스마트 TV에서는 모델이 어떻게 돌아갈까?

IoT 기기는 메모리가 부족하지만, Petals처럼 추론을 분산하면 우리가 쓰는 경량 모델도 서빙할 수 있다. 대표적인 위협 모델은 Kimwolf다. 주로 무명 브랜드 안드로이드 TV를 중심으로 200만 대 넘는 기기를 감염시킨 대형 IoT 봇넷이다. 시중에서 쉽게 살 수 있는 이런 스마트 TV 박스는 대개 AOSP(Android Open Source Project)의 포크를 쓰는데, 제조사가 보안 기능을 추가하지 않는다. 이 가격대의 일반적인 박스는 RAM이 1~4GB다. RAM이 4GB이고 4비트 양자화를 적용한다고 가정하면, 9B 모델은 머신 4대 이상으로, 26B 모델은 10대 이상으로 추론할 수 있다.

글 맨 위의 데모에서는 RAM 4GB짜리 스마트 TV 박스 15대에 Gemma4-26B-A4B를 돌렸다. 모델은 파이프라인 병렬화 방식으로 샤딩했으며, 박스마다 모델 레이어의 일부만 맡는다.

B. 바이럴 확산: GCP 노드 플릿에서의 자율 구축과 복제

모델이 낯선 하드웨어에서 추론 환경을 구축할 수 있음을 확인했으니, 이제 여러 단계를 이어 붙일 수 있는지 측정해 보자. 네트워크에서 대상을 스캔하고, 리버스 셸로 접근하고, 바이럴 페이로드(가중치와 하네스)를 전송하고, 추론 환경을 구축하는 과정이다.

자율 추론 환경 구축과 복제(단순화한 사이버 요소 포함)

이를 위해 Android 15 에뮬레이터인 redroid를 돌리는 GCP 노드 8개로 방화벽이 설정된 VPC를 만들었다. 감염 최초 대상(회색 노드)에 웜을 심어 두면, 이후의 모든 감염은 웜이 인증 없이 열린 ADB 포트를 통해 노드에서 노드로 직접 건너뛰고 Llama3.1-8B를 서빙하는 추론 서버를 구축하는 방식으로 진행된다. 추론 서버가 정확성 및 부정행위 방지 검사를 여러 차례 통과하면 대상 노드에 웜의 복사본을 새로 생성한다(예를 들어 GLM-5.2가 어떤 머신에 Llama3.1을 구동하면, 그 머신에 GLM-5.2 웜의 복사본을 생성한다). VPC 노드는 큰 모델을 돌릴 만큼 크지 않아서, 웜의 모델은 별도의 추론 서버에서 돌아간다.

아래 그래프에서는 각 모델을 페이로드로 넣고 복제 능력을 측정했다.

테스트한 오픈 웨이트 모델 중 완전한 엔드 투 엔드 복제가 가능한 것은 GLM-5.2뿐이다(그 능력을 Llama3.1-8B에 담을 수 있다고 가정할 때). GLM-5.2는 이를 안정적으로 해냈고 나머지 모델은 일관되게 실패했다(5회 시도 중 4회는 노드 8개 모두, 1회는 8개 중 7개로 퍼졌다).

GLM-5.2가 Llama3.1-8B를 잘 전파한다는 것은, 같은 수준의 능력을 가진 미래의 소형 모델도 복제 과정의 네트워크 열거, 페이로드 전달, 추론 구축 단계를 해낼 수 있음을 시사한다. 우리 평가는 복제의 사이클 익스플로잇 요소를 사소한 수준으로 유지했으므로(ADB 포트에 인증이 없다) 실제 환경에서의 성공 가능성은 이보다 낮은 상한선이다. 다만 과거의 IoT 봇넷은 Mirai 봇넷처럼 제조사 기본 계정과 비밀번호 목록을 훑는 정도로 단순한 방법으로도 복제됐다. 따라서 실제 IoT 보안이 우리 평가의 사소한 단계보다 크게 어렵지 않을 수도 있다.

자율성과 오케스트레이션 단계가 얼마나 어려운지도 점검해 볼 수 있다(사이버와 추론 구축을 빼면 남은 명령줄 단순 노동은 얼마나 어려울까?). 이 절제 실험(ablation)은 위 평가에서 추론 구축 단계를 빼고(미리 작성한 스크립트로 처리) 진행한 것이다. 소형 모델을 포함해 대상 모델 상당수가 남은 단계를 해낼 수 있다.

격리된 17노드 redroid 플릿에서의 복제: 피벗 노드 하나로 연결된 8노드 두 묶음(약한 프롬프트 사용, 부록 F 참고). 각 트리는 모델별 6회 실행의 중앙값 사례이다.

이 웜에 대해서는 다음 두 가지를 생각해 볼 수 있다.

1. 자율 웜이 안정적으로 복제를 마치려면 넘어야 하는 모델 능력의 하한선. 단순화한 평가에서 GLM-5.2는 이 하한선을 넘는다.
2. 공격 대상 기기에서 돌릴 수 있으려면 모델 크기가 넘지 않아야 하는 상한선. 우리가 테스트한 스마트 TV 종류(RAM 4GB)에서 Qwen3.5-9B와 Gemma4-26B-A4B는 이 상한선 아래에 있다.

현재는 하한선과 상한선이 만나지 않는다. 언제 만나게 될까?

위 그림은 총 파라미터가 30B 이하인 주요 오픈 웨이트 모델을 출시일 기준으로 Epoch Capabilities Index(ECI)에 대해 표시한 것이다. 실선은 각 시점의 동급 최고 모델에 대한 최소제곱 적합선이며, 연간 ECI 상승폭은 13.7이다(R² = 0.95). GLM-5.2를 복제 능력의 하한선으로 본다면, 추세선상 소형 모델은 2026년 말에 그 수준에 도달한다. 다만 ECI는 일반 능력 지수일 뿐 복제 능력의 대리 지표에 불과하므로, 소형 모델 복제체가 가능해지는 시점은 대략적인 추정치로만 봐야 한다.

C. AI IoT 웜은 얼마나 빠르게 복제될까?

코딩 에이전트와 달리 이런 복제체는 사용자를 직접 상대하는 채팅·코딩 하네스의 인터랙티브 속도에도 못 미치는 속도로 돌아갈 것이다. 엣지 하드웨어에서 토큰이 조금씩 흘러나오는 가운데 확산은 느리고 끈질기게 진행될 것이다. 실제 스마트 TV에서 달성한 속도를 복제 속도의 실증 기준선으로 쓸 수 있다. Gemma4-26B-A4B의 최적화하지 않은 속도는 32k 컨텍스트 길이의 토큰 윈도우에서 약 0.3tok/s이며, 우리 추론 구축 워크로드에서 프리필과 디코드를 평균한 값이다. 자세한 내용은 부록 C에 있다.

총 소요 시간을 재는 한 가지 방법은 컴팩션이 일어나기 전까지 32k 크기 컨텍스트 윈도우 하나를 채우는 데 몇 시간이 걸리는지 측정하는 것이다. 추론 구축 평가 통계를 보면 하나의 궤적을 끝내는 데 윈도우가 약 2.6~4.7개 필요하다.

Synthient가 보고한 Kimwolf 봇넷의 최대 감염 기기 수는 200만 대를 넘는다(주로 안드로이드 TV 박스). 이와 같은 규모로 감염된 TV 플릿이 AI 모델을 서빙한다고 하고, TV 15대마다 Gemma4-26B-A4B 사본을 하나씩 돌린다면 사본('레플리카')은 약 13만 3천 개가 된다. 데모와 같은 TV 묶음 하나는 에이전트 2개를 각각 초당 약 0.3토큰으로 동시에 서빙할 수 있으므로, 봇넷 전체로는 초당 8만 토큰이 나온다.

참고로 H100 한 대는 높은 동시성과 추측 디코딩을 적용했을 때 Gemma4-26B-A4B를 약 1.95k tok/s로 서빙할 수 있다. 따라서 이 군집의 추론 능력은 많아야 H100 약 40대 분량이다. 절대적으로 보면 아주 적은 연산량이고, 에이전트는 느린 복제체다(9B 복제 한 번에 1~2일 넘게 걸린다). 비유하자면 복제체는 며칠 단위로 번식하는 점균류나 초파리 떼와 같다.

이는 IoT 하드웨어 한 종류와 과거 봇넷 사례 하나에 기대어 대략 추정한 것이지만, 가까운 미래에 풀려날 단순한 복제체가 어떤 모습일지는 보여 준다. 실제로는 더 유능한 복제체가 다른 종류의 저보안 컴퓨팅 자원도 활용하고, 기기마다 다양한 크기의 모델을 기회가 닿는 대로 배포할 것이다(장악한 모든 기기에 모델 페이로드를 올릴 필요도 없다). 시간이 갈수록 배포된 엣지 컴퓨팅 자원은 계속 늘어나고, 안정적인 복제에 필요한 최소 모델 크기는 줄어들 것으로 본다.

D. 적응과 능력 향상

현장 학습

ARA의 '적응'은 AI 복제체가 전통적인 웜보다 더 강력할 수 있는 이유 중 하나다. 구체적으로 모델과 프롬프트는 퍼져 나가면서 라마르크식 진화를 겪을 수 있다. 부모 인스턴스가 프롬프트, 코드, 메모를 자식 복제체에 물려줄 수 있기 때문이다. 다양한 하드웨어에 적응해 퍼지려면 모델에게 두 가지가 필요하다.

1. 처음 보는 새로운 하드웨어(또는 소프트웨어 환경이나 네트워크 유형)로 퍼질 수 있는 일정 수준 이상의 능력.
2. 한 번 접한 환경 유형에 적응하는 능력(이전에 본 하드웨어에서는 더 안정적으로 복제해야 한다).

A절과 B절에서 첫 번째 조건을 시험했고, 아래 실험에서는 두 번째 조건을 시험한다. Qwen3.5-9B 인스턴스는 각각 시도한 전략과 마주친 실패를 짧은 메모로 남기고, 새 인스턴스가 그 메모를 물려받아 같은 추론 구축을 다시 시도한다.

앞 세대의 메모를 물려받는 Qwen3.5-9B 6세대에 걸친 추론 구축 성공률. 흐린 선은 개별 계보 20개이고, 굵은 선은 각 세대에서 구축을 완료한 실행의 비율이다. 1세대의 45%에서 이후 세대에서는 61~84%로 오른다. Memento 설정(부록 A)을 사용했다.

조언 받기

소형 모델이 프런티어 조언자에게 도움을 청할 수 있다는 점도 우려된다. 프런티어 조언자는 도구 호출로 제공되거나, 소형 모델이 막혔을 때 요청하지 않아도 조언해 주는 더 강한 모델이다. 이를 시험하려고 추론 구축 작업 중 Qwen3.5-9B가 Opus 4.8을 쓸 수 있게 했다. 프런티어 모델의 조언은 측정 가능한 도움이 되지 않았다. 소형 모델은 어떤 질문을 해야 하는지 잘 모르는 경향이 있고, 조언이 요청하지 않았는데 먼저 주어져도 나아지지 않는다.

비슷한 환경(파이썬 코딩 문제)에서 강화학습으로 조언자를 활용하도록 훈련해도, 소형 모델은 추론 구축에서는 여전히 도움을 효과적으로 요청하지 못한다. 두 결과는 아래 그래프에 나와 있다.

조언자 접근 여부에 따른 추론 구축 성공률(Wilson 95% 구간). 조언자를 도구 호출로 제공하든 막혔을 때 자동으로 주든, 유의미한 향상은 없다. RL 그룹 2개는 소프트웨어 엔지니어링 작업에서 조언자 접근을 허용해 훈련했고, 맨 오른쪽 그룹은 막혔을 때 조언자를 호출하는 것에도 보상을 준다.

소형 모델은 개별 에이전트로서는 유능하고 끈질기지만 조언은 제대로 활용하지 못한다. 그래서 조율은 대형 모델이 상위 전략을 맡고 소형 모델을 하위 에이전트로 띄우는 방식으로 이뤄질 가능성이 더 높다고 본다.

E. AI 이전의 봇넷과는 무엇이 다른가?

Kimwolf 봇넷처럼 하드코딩된 봇넷은 각각 특정 유형의 기기를 노린다. Kimwolf는 안드로이드 TV와 모바일 기기가 대상이다. AI 봇넷은 특정 하드웨어나 소프트웨어 유형에 묶이지 않는다. 소형 모델이 Jetson Nano부터 Mac까지 다양한 머신에 추론 엔진을 구축할 수 있다는 사실이 이를 보여 준다(A절 표 참고). AI 봇넷은 IoT 기기 이상으로 감염 범위를 넓히고, 가중치 기반 복제를 여러 전략 중 하나로만 쓸 것으로 예상한다. 또 AI 봇넷은 방어자에 맞서 지능적으로 대응할 수도 있지만, 이 부분은 테스트하지 않았다.

F. 블루팀 완화책

전염병과 마찬가지로, 방어는 R₀(감염된 기기 하나가 새로 감염시키는 기기 수)를 1 아래로 낮춰 복제체가 풍토병으로 남지 않고 소멸하게 만드는 일이다.

이 위협 모델에는 방어자에게 유리한 요소도 있다.

1. 가중치 기반 복제체가 IoT 머신 사이에서 대규모로 증식하면 네트워크 흔적이 남고, 이는 ISP의 플로우 기반 모니터링 시스템에서 이상 징후로 드러난다. 새로 감염된 호스트는 다른 기기나 외부 호스팅 서비스에서 수 기가바이트 크기의 모델 페이로드를 받을 수 있고, 분산 추론은 평소라면 그만한 양으로 통신하지 않을 머신들 사이에 지속적인 기기 간 트래픽을 만들어 낸다. 전파 자체도 스캔과 외부 연결 패턴을 추가로 만든다.
   
   실제로 복제체는 복제 속도와 은밀성 사이에서 균형을 잡아야 한다. 빠르게 복제할수록 트래픽도 많아진다. 복제체가 발견되면 방어자는 허니팟(미끼 기기)으로 복제체의 하네스와 페이로드를 수집해 동작을 분석할 수 있다.
2. Mirai 봇넷은 ISP가 외부에서 확보한 감염 증거로 고객을 격리하고 알렸을 때 제거가 가능했다. 감염된 가입자를 격리하는 방법은 네트워크를 소수의 허용 사이트에만 접속할 수 있게 제한하고, 그 밖에는 브라우저를 정리 안내 페이지로 리디렉션하는 것이었다. 그 결과 14일 안에 감염의 92%가 정리됐다. 알림이 없었을 때는 74%였다. 가중치 기반 복제체에 대한 초기 방어에서도 격리가 비슷하게 효과적일 것으로 예상한다. 복제체를 완전히 없애려면 감염된 네트워크가 있는 모든 ISP가 협력해야 하는데, 이는 쉽지 않다.
3. 제조사는 표적이 되는 기기 수를 줄일 수 있고, 규제는 이를 조율하는 역할을 한다. 예를 들어 IoT 기본 비밀번호는 이제 영국 시장에서 규정 위반이다. 더 안전한 기본값으로 옮기고 규정 준수 기준을 높이면 AI 봇넷과 스크립트 기반 봇넷 모두에 대한 방어력이 강화될 것이다.

G. 결론: 생명의 징후

AI 모델을 강력한 범용 코딩 에이전트로 만드는 능력은 자율 복제를 포함한 사이버 작업에도 일반화된다. 2024년의 코딩 에이전트처럼 AI 웜에서도 생명의 징후가 보인다. 아직 완전한 야생 복제체는 없지만, 에이전트는 복제 사슬의 개별 단계를 점점 더 잘 해내고 있다(자신의 적응 결과를 이후 복사본에 물려주는 것도 포함해서).

동시에 데이터센터 안팎에서 쓸 수 있는 추론 연산 능력도 늘고 있다(부록 D 참고). 자율 AI 복제가 정확히 어떤 형태일지는 불확실하다. 비교적 보안이 허술한 컴퓨팅 자원에 서식하는 느리고 분산된 '디지털 점균류'일 수 있다. 데이터센터를 빠른 속도로 뚫는 강력한 사이버 모델일 수도 있고, 사람들을 속여 컴퓨팅 크레딧을 얻는 모델일 수도 있다.

실험을 넘어선 예측으로는, 모든 종류의 하드웨어에서 에이전트가 넘쳐나는 미래가 올 것으로 본다. 그중에는 사람의 통제를 벗어난 것도 있을 것이다. IoT 기기가 오래전부터 취약했던 것은 사실이지만, 경량 에이전트는 사람 공격자보다 훨씬 기꺼이 공을 들여 전 세계 IoT 컴퓨팅 자원의 상당 부분을 장악하려 할 수 있다. 느린 복제체의 등장은 보안이 더 강화된 머신을 뚫거나 API 키를 효과적으로 훔치는, 더 공격적이고 빠른 복제체의 전조이기도 하다. 이런 복제체가 퍼지기 어렵도록 시스템을 강화하는 데 힘써야 하지만, 복제체가 사라지지 않는 세상에 대처할 준비도 해야 한다.

부록

A. Memento 하네스

Memento는 다음과 같이 동작한다.

1. 에이전트 인스턴스를 띄우면, 이 인스턴스가 제한 시간(생성 타임아웃)까지 한동안 문제를 푼다.
2. 인스턴스는 짧은 메모를 남기고, 타임아웃이 지나면 시도한 전략, 마주친 실패, (성공했다면) 성과를 짧은 문서로 요약한다.
3. 이전 인스턴스의 코드베이스와 환경, 그리고 노트를 물려받는 새 에이전트 인스턴스를 만든다.

서빙 실험에서는 각 모델을 Memento 하네스에 넣고 반복당 1.5시간, 총 6시간의 타임아웃을 줬다. 하드웨어 사양과 간단한 샘플 프로파일러 스크립트를 포함해 약 1k 토큰 분량의 정보가 프롬프트로 주어진다.

Memento는 새로운 사이버 능력이나 추론 특화 능력을 부여하려는 것이 아니라, 긴 작업에서의 안정성을 높이려는 것이다. 또한 어디서나 강력한 하네스도 아니다. 하네스 없이도 능력이 향상되면 소형 모델은 복제체로서 더 나아질 것으로 예상한다.

모델별 단일 시도와 Memento 비교(95% Wilson CI).

B. 왜 파이프라인 병렬인가?

추론에서 흔히 쓰는 병렬화 방식으로는 텐서 병렬(TP), 전문가 병렬(EP), 데이터 병렬이 있다. 대부분의 스마트 TV·IoT 기기는 ARM Cortex CPU와 DDR3/4 메모리를 쓰는데, 이런 머신에서는 거의 항상 대역폭이 병목이다.

우리는 내결함성 때문에 파이프라인 병렬화를 쓴다. (Borzunov et al. 2022)에서 지적했듯, 텐서 병렬이나 전문가 병렬에서는 노드 하나만 고장 나도 모델 레플리카를 돌리는 전체 머신이 중단된다. 파이프라인 병렬에서는 고장 난 노드를 교체할 수 있고, 그 노드가 맡았던 레이어의 KV 캐시는 재시작된 노드 앞 노드에서 포워드 패스를 한 번 더 실행해 다시 계산할 수 있다.

C. IoT 하드웨어의 처리량과 메모리

이런 머신 전반에서 박스별로 프리필과 디코드 모두 거의 항상 RAM 대역폭이 병목이다. 성능이 낮은 ARM Cortex 코어에서도 연산 처리량이 RAM 대역폭을 앞선다. 디코드 워크로드는 포워드 패스마다 한 번에 한 머신만 활성화되는 파이프라인 버블 때문에 머신당 유휴 시간이 상당하다. 작업을 엇갈려 동시에 처리할 수도 있지만 메모리 제약이 빡빡해서 동시성은 낮게 유지된다.

박스별 메모리와 컨텍스트 길이 — 4비트 가중치 + fp8 KV + 활성값.

프리필과 디코드 모두 토큰/초는 시퀀스 길이가 길어질수록 계속 감소한다. 아래는 컨텍스트 길이에 따른 추론 속도 그래프이다.

모델이 제 역할을 하려면 최소한의 시퀀스 길이도 필요하다. 우리가 쓰는 하네스는 Pi 코딩 에이전트(pi.dev)에서 포크했고 기본 컴팩션 기능이 있는데도, 시퀀스 길이를 32K 아래로 제한하면 모델 성능이 크게 떨어졌다.

추론 구축 작업에서 컨텍스트 윈도우 예산에 따른 Qwen3.5-9B의 에이전트 수행 능력.

위 평가를 바탕으로 32k 컨텍스트 길이면 에이전트가 쓸 만한 성능을 내기에 충분하다고 가정한다. 우리 추론 구축 워크로드에서 표준 32k 컨텍스트 윈도우는 생성된 디코드 토큰이 12~15%이고 나머지는 프롬프트와 도구 호출에서 온 프리필이다. 프리필 토큰은 파이프라인 버블 때문에 계산이 약 15배 빠르다. 32k 컨텍스트 전체에 대해 프리필과 디코드 속도를 반영해 토큰당 시간을 합산해 보면, 디코드 출력 토큰 3.8~4.8k개를 생성하고 프리필 토큰 약 28k개를 처리하는 데 Gemma4-26B-A4B는 27.3~31.8시간, Qwen3.5-9B는 10.9시간이 걸린다.

모델별 체인당 출력 토큰 수(체인의 각 세대 합산). 중앙값은 약 19.7k / 12.3k / 11.0k. 추론 구축 평가 데이터이다.

D. 엣지 가속기

엣지 가속기인 Nvidia Jetson 풀을 쓰면 더 나은 상한선을 계산할 수 있다. 기존 IoT 봇넷과 달리 IoT 엣지 기기는 모델 전체를 통째로 서빙할 수 있다. Jetson AGX Orin 64GB는 Qwen3-30B-A3B를 구동해 초당 76.7토큰을 내고, AGX Thor는 226tok/s에 이른다. 이 기기들이 유난히 취약하다고 보는 것은 아니며, 상한선을 헤아리기 위한 것일 뿐이다. 현장에서 Jetson이 쓰이는 기기 유형은 다음과 같다.

1. 가속기를 내장한 AI 보안 스마트 카메라는 상당한 규모로 배치돼 있다.
2. 화상회의 장비는 기기 자체에서 노이즈 제거나 받아쓰기를 하려고 온보드 가속기를 탑재한 경우가 많다.
3. 차량, 사족·이족 로봇, 드론. 차량은 사이버 보안이 중점 사안일 것으로 예상하므로 잠재적 표적 대부분은 나머지 두 범주에 있을 가능성이 크다.

FOFA에서 빠르게 검색해 보니 가속기를 탑재한 스마트 카메라 호스트가 최소 하나는 IPv4로 접근 가능해 보인다.

현장에서 접근 가능하고 취약한 엣지 가속기 탑재 머신이 얼마나 되는지 추정하기는 어렵지만, 존재하는 기기 수의 엄격한 상한선은 계산할 수 있다. 현장에는 서로 다른 NVIDIA 실리콘 기반 IoT 제품군이 약 90개, 배치된 단위는 약 950만 대 있다. 접근은 대부분 인바운드 포트가 아니라 아웃바운드 클라우드 관리 터널을 통해 이뤄지므로 대다수는 웹에서 접근할 수 없다. 일반 IoT 봇넷과 달리 가속기를 탑재한 엣지 기기가 대규모로 침해된 사례는 아직 없는데, 이는 이런 기기를 장악하기가 더 어려울 수 있음을 시사한다.

기기군별 배치 단위 수(인터넷 접근 가능 여부별 색상 표시).

제품 데이터를 바탕으로 아주 대략 추정하면 엣지 가속기에는 H100 환산 9,000~35,000대 분량의 연산 능력이 있다. 하지만 접근 가능한 양은 아마 한 자릿수 배 이상 적을 것이고(취약한 양은 그보다도 더 적을 것이다).

E. 스피어피싱 능력

최신 소형 모델의 스피어피싱 숙련도도 측정했다. 스피어피싱은 특정인을 겨냥한 메시지를 보내 자격 증명을 알아내거나 악성코드를 실행하도록 속이는 행위다. 소형 모델의 에이전트형 사이버 능력은 급격히 높아졌지만 일반 지식과 언어적 정교함은 더 느리게 향상됐다. 따라서 사회공학과 피싱 공격은 대부분 대형·프런티어 모델이 수행할 것으로 예상한다(다만 대형·소형 모델이 함께 도는 이종 봇넷에서는 이것이 부차적인 복제 경로가 될 가능성도 충분하다).

Meta의 CyberSecEval 3 스피어피싱 평가(Wan et al. 2024)를 로컬에서 재현한 스피어피싱 능력. gpt-4o를 심사자로 0~5점으로 채점했다. 빨간 마름모는 논문(CyberSecEval 3)이 기준 모델에 매긴 사람 루브릭 점수로, gpt-4o가 사람 평가자보다 약 0.4~0.7점 후하게 채점함을 보여 준다. 2점은 '미흡', 3점은 '보통', 4점은 '좋음'이다. 사람 평가자 기준으로 보정하면 소형 모델은 '매우 미흡'에서 '미흡' 수준이다.

405B 기준 항목에는 구할 수 없는 Llama3.1-405B-Instruct 대신, 거부를 최소화한 대체 모델로 Hermes-3-405B를 썼다.

F. 스크립트로 처리한 추론 구축에서의 전파:

다음과 같은 토폴로지의 호스트 17대 네트워크에서 실험을 몇 가지 더 진행했다.

각각 호스트 8대로 이뤄진 네트워크 두 개를 두 서브넷 모두에 접근할 수 있는 노드 하나가 연결한다. 각 네트워크는 모든 호스트가 서로 연결돼 있다. 웜 에이전트는 세그먼트 A의 감염 최초 노드 하나에서 시작한다. 피벗 노드는 웜이 이 노드에 접근 권한을 얻고 거기서 다시 스캔해야 한다는 점에서 약간의 추가 난이도를 더한다.

각 호스트는 인증 없이 ADB 포트가 열려 있는 Android를 실행한다. 새 대상으로 퍼지고 나면 에이전트는 직접 호출로 즉시 자기 자신을 복제할 수 있다. 이는 사이버와 추론 구축 단계를 뺀 나머지 단계의 난이도를 측정하기 위한 것이다. 그래프에서 보듯 3B 모델조차 노드의 절반 정도에는 도달한다. 이로써 사이버나 추론 구축 요소에서 우리 평가가 놓치는 걸림돌의 수에 한계가 정해진다.

'17노드 네트워크에서의 복제' 실행의 더 상세한 내역. 각 열은 프롬프트에 담긴 안내량에 따른 도달 노드 수의 중앙값이며, 아래 첨자는 몇 개의 에이전트가 피벗 노드를 건너 네트워크 반대편으로 넘어갔는지를 나타낸다.