사이버 툴킷을 갖춘 LLM, 기업 규모 네트워크에서 다단계 사이버 공격 수행 가능

Anthropic (카네기멜런대학교 CyLab 공동 연구)

사이버 보안 분야에 특화된 파인튜닝 없이도, 새로운 툴킷을 장착한 대규모 언어 모델(LLM)이 수십 개의 호스트로 구성된 네트워크에서 다단계 공격을 성공적으로 수행할 수 있는 것으로 나타났다. 이는 LLM이 복잡한 사이버 공격의 진입 장벽을 낮추는 동시에, 현행 사이버 방어 워크플로를 자동화할 수 있는 하나의 경로를 보여준다.

카네기멜런대학교와 Anthropic 연구진은 LLM이 복잡한 공격을 계획하고 실행하도록 돕는 사이버 툴킷 Incalmo를 개발해 이 연구를 수행했다.^[1] Incalmo는 일종의 번역기처럼 작동한다. AI가 수립한 공격 계획을 받아, 실제 공격에 필요한 구체적인 컴퓨터 명령으로 변환하는 방식이다.

• Incalmo를 활용한 LLM은 테스트 네트워크 10개 중 5개를 완전히 장악하고 나머지 4개를 부분적으로 침해하는 데 성공했다. 반면 Incalmo 없이는 사실상 전면 실패에 그쳤다.
• 성공적인 공격은 초기 네트워크 접근 권한 획득, 시스템 간 횡적 이동(lateral movement), 데이터 탈취까지 이어지는 복잡한 단계들을 25~50개 호스트 규모의 네트워크에서 순차적으로 수행하는 방식으로 이뤄졌다.
• 이번 연구에서 평가한 시나리오는 기존의 기초적인 사이버 보안 과제 테스트보다 훨씬 현실적이고 정교하다.[2] 다만 해당 공격들은 알려진 취약점을 활용한 것으로, 새로운 취약점을 발굴하거나 익스플로잇하는 방식은 아니었다. 또한 Incalmo의 일부 도구는 이번 연구 시나리오에 맞게 특별히 설계된 것으로, 실제 네트워크를 위협하려면 추가적인 도구 개발이 필요하다.

연구진은 6개의 LLM을 10개의 시뮬레이션 네트워크에서 테스트했으며, 그 중에는 역사상 가장 피해가 컸던 사이버 공격 중 하나인 이퀴팩스(Equifax) 데이터 유출 사고의 고충실도 시뮬레이션도 포함됐다. Incalmo를 장착했을 때, 테스트한 모든 모델이 이퀴팩스 시뮬레이션에서 최소 부분적인 성공을 거뒀다.

• 한 모델을 제외한 모든 LLM이 콜로니얼 파이프라인(Colonial Pipeline) 공격 시뮬레이션에서 완전하거나 부분적인 성공을 보였다. 기업 환경에서 흔히 볼 수 있는 네트워크 토폴로지를 적용한 기타 가상 시나리오에서는 모델별 성능 차이가 두드러졌다.
• 이 같은 결과는 최소한의 안내만으로 도달한 것이다. 프롬프트는 Incalmo 소개, 시나리오 설명, 목표 제시로 한정됐으며, 실제 공격은 LLM이 자율적으로 수행했다.
• 이번 연구의 한계로는 시뮬레이션 네트워크에 능동적 방어 체계가 갖춰져 있지 않아 침해가 상대적으로 용이했다는 점을 꼽을 수 있다.

이번 결과는 LLM이 복잡한 사이버 공격의 진입 장벽을 어떻게 낮출 수 있는지를 보여준다. 동시에 공격과 방어 양 측면에서 LLM 역량 연구에 대한 투자의 중요성을 다시금 일깨운다. LLM의 일반적인 스케일 확장, Incalmo와 같은 툴킷의 개선, 그리고 사이버 분야 파인튜닝 가능성 모두가 이 역량이 빠르게 발전할 수 있는 경로다. 우리에게도 활발히 연구 중인 분야다.

• 일반적인 스케일 확장의 역할을 보여주는 사례로, Claude Sonnet 3.5는 공격적 사이버 역량 향상을 목적으로 특별히 설계되지 않았음에도, Incalmo 없이 진행된 시나리오에서 소형 모델인 Claude Haiku 3.5를 상회하는 시뮬레이션 네트워크 공격 성능을 보였다.
• LLM 역량이 향상되고 사용 비용이 낮아질수록, 악의적인 행위자들이 다단계 사이버 공격을 시도하기가 더 쉬워질 수 있다. 이는 방어 연구에 대한 투자 확대를 더욱 촉구한다.
• 파인튜닝을 통해 달성 가능한 성능 향상의 폭과, 능동적으로 방어되는 네트워크에서 LLM 사이버 공격자의 실효성을 규명하기 위한 추가 연구가 필요하다.
• 방어 측면에서는, 사이버 툴킷을 갖춘 LLM이 인간의 사이버 공격 패턴을 점점 더 정교하게 모방할수록 자동화된 침투 테스트(penetration testing) 분야에서 유망한 기회가 열린다. 이를 통해 네트워크 취약점 식별 속도를 획기적으로 높일 수 있을 것이다.

자세한 내용은 전체 연구 논문(Singer et al. 2025)을 참고하라.