AI 에이전트가 태국 재무부를 해킹했다

이거 별로 주목 못 받은 거 같은데, 사실 꽤 충격적인 사건임. 누군가 Hermes라는 오픈소스 AI 에이전트를 써서 태국 재무부를 털어버렸거든.

이 에이전트는 YOLO 모드로 돌아가고 있었는데, 이게 뭐냐면 명령 실행할 때마다 일일이 허락 안 받는다는 소리임. 그냥 지 꼴리는 대로 다 한 거지. 취약점 스캔하고, 호스트 열거하고, 디렉터리 긁고, 권한 상승할 구멍 찾고. 이 모든 걸 사람 승인 하나 없이 그냥 다이렉트로 밀어붙인 거임.

공격자가 에이전트 로그를 공개 웹 서버에 그대로 노출해두는 병크를 저질렀는데, 연구원들이 거기서 익스플로잇 코드, 웹 셸, 탈취한 자격 증명, 그리고 에이전트가 한 짓을 낱낱이 기록한 전체 로그 파일 585개를 찾아냄.

에이전트는 2012년부터 쌓인 인사 기록을 찾으라는 지시를 받았고, 결국 찾아냈음. 외부로 유출됐다는 증거는 없지만, 어쨌든 찾아낸 건 팩트임.

내가 진짜 소름 돋는 건, 이 에이전트가 뭐 대단한 신기술을 쓴 게 아니라는 거임. 그냥 사람이 일일이 타이핑해야 하는 지루한 작업들, 즉 스캔, 열거, 크롤링 같은 걸 자동화했을 뿐임. 근데 차이점은 사람이 단계마다 승인할 필요가 없었다는 거지. 그냥 멈추지 않고 계속 달린 거임.

이제 우린 사이버 공격용 자율주행차를 만들고 있는 셈임. 근데 정작 책임 소재에 대한 인프라는 논의조차 제대로 안 되고 있음. 에이전트가 YOLO 모드로 폭주하면 도대체 누가 책임짐? 운영자? 개발자? 아니면 모델 자체?

뭐, 그냥 공유할 가치가 있는 거 같아서 가져와 봄. 이거 팔로우하고 있는 사람 또 있음?