r/AI_Agents•5개월 전•8•14

Lasso Security 2024: LLM이 추천한 패키지의 약 20%가 존재하지 않음 — 공격자들이 이제 인기 있는 환각 패키지를 악성코드로 등록 중 (슬롭스쿼팅)

Lasso Security 2024: ~20% of LLM-suggested packages don't exist — and attackers now register the popular hallucinations with malware (slopsquatting)

핵심 요약

LLM이 존재하지 않는 패키지를 추천하는 환각 현상을 악용해 악성코드를 유포하는 '슬롭스쿼팅' 공격이 확산되고 있음.

슬롭스쿼팅 공격 — LLM이 환각으로 만들어낸 가짜 패키지명을 공격자가 선점하여 악성코드를 배포함.
패키지 환각 문제 — LLM이 존재하지 않는 패키지를 추천하는 비율이 약 20%에 달함.
공격 표면 확대 — 단순 오타를 노리는 타이포스쿼팅을 넘어 LLM의 추천 알고리즘을 악용하는 새로운 위협이 등장함.
에이전트 시스템 보안 — 에이전트 설계 시 LLM의 환각으로 인한 공급망 공격 위험을 고려해야 함.

Lasso Security는 2024년에 연구를 진행했는데, 프론트엔드 모델들이 약 5분의 1 확률로 존재하지 않는 패키지 이름을 추천한다는 사실을 측정했습니다. 후속 문제는 공격자들이 가장 흔하게 환각으로 생성되는 이름들을 악성코드가 포함된 상태로 등록하기 시작했다는 점입니다. 그래서 LLM이 추천한 pip install 명령어가 이제는 공급망 공격이 될 수 있습니다. 이 패턴은 슬롭스쿼팅(slopsquatting) (Seth Larson, Python Software Foundation)이라고 명명되었습니다. 저는 에이전트 시스템 설계를 위한 강의를 준비하면서 LLM 프로덕션 실패 모드를 파고들고 있는데, 이번 최신 에피소드에서 다룬 네 가지 중 하나가 바로 이것입니다.

원문

커뮤니티 목록

r/AI_Agents•5개월 전•8•14

Lasso Security 2024: LLM이 추천한 패키지의 약 20%가 존재하지 않음 — 공격자들이 이제 인기 있는 환각 패키지를 악성코드로 등록 중 (슬롭스쿼팅)

Lasso Security 2024: ~20% of LLM-suggested packages don't exist — and attackers now register the popular hallucinations with malware (slopsquatting)

핵심 요약

LLM이 존재하지 않는 패키지를 추천하는 환각 현상을 악용해 악성코드를 유포하는 '슬롭스쿼팅' 공격이 확산되고 있음.

슬롭스쿼팅 공격 — LLM이 환각으로 만들어낸 가짜 패키지명을 공격자가 선점하여 악성코드를 배포함.
패키지 환각 문제 — LLM이 존재하지 않는 패키지를 추천하는 비율이 약 20%에 달함.
공격 표면 확대 — 단순 오타를 노리는 타이포스쿼팅을 넘어 LLM의 추천 알고리즘을 악용하는 새로운 위협이 등장함.
에이전트 시스템 보안 — 에이전트 설계 시 LLM의 환각으로 인한 공급망 공격 위험을 고려해야 함.

주요 댓글

r/ai_agents

LLM의 패키지 환각으로 인한 슬롭스쿼팅 위험성과 더불어, 모델 학습 이후의 유지보수자 탈취 등 공급망 공격의 복잡성에 대해 실무적인 논의가 활발히 이루어짐.

전체 프레임워크 궁금한 사람들은 여기서 확인해. [영상 링크] 나머지 3가지 실패 모드(지식 컷오프, 프롬프트 인젝션, 불일치)랑 각각에 대한 엔지니어링 대응책도 정리해둠.

2024년? 와, 완전 옛날 자료네.

2024년은 처음 측정된 시점일 뿐이고, 지금도 계속 일어나는 중임. 예를 들어 26년 1월에 실제 사례가 있었는데, npm 'react-codeshift'가 AI가 생성한 에이전트 스킬 파일 때문에 237개 깃허브 저장소에서 참조됨. 패키지는 존재하지도 않고, 작성자도 없고, 등록된 적도 없음. 그냥 LLM이 jscodeshift랑 react-codemod를 섞어버린 건데, 에이전트가 사람 개입 없이 설치를 실행해버린 거임. [링크]

슬롭스쿼팅(slopsquatting)이랑 타이포스쿼팅(typosquatting)은 공급망 공격 트리에서 구분해서 봐야 함. 실패 모드 구조가 완전히 다름. 타이포스쿼팅은 오타(requests 대신 requestss)를 노리는 거고 공격 표면은 사람의 키보드임. 반면 슬롭스쿼팅은 LLM이 그럴듯한 이름을 생성하는 확률 분포를 노리는 거임. 그 이름들은 무작위가 아니라 PyPI가 예약 정책을 안 두는 관습적인 이름들(pandas-utils, openai-helpers, langchain-tools) 주변에 몰려 있음.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

20% 존재하지 않는 패키지 발견은 유의미한 데이터지만, 문제는 이름 환각보다 훨씬 깊음. 패키지가 존재하더라도 더 미묘한 위험이 있음. 학습 데이터 시점엔 정상이었는데 나중에 악성 유지보수자가 탈취했거나, 합법적인 패키지의 타이포스쿼트인 경우임. 공격 표면은 LLM 환각뿐만이 아니라, 학습된 모델이 알 수 없는 시간차 타이포스쿼팅이나 유지보수자 탈취 공격도 포함됨.

맞아, 시간차 공격은 내가 계속 과소평가하는 부분임. 학습 땐 깨끗했는데 오늘 탈취당하면 모델은 여전히 그걸 추천하니까. 소켓(socket)의 탈취 탐지가 내가 본 것 중 최고긴 한데, 제안 시점이 아니라 사후에 작동한다는 게 문제임.

지금 2026년임.

원문r/AI_Agents