ChatGPT가 그냥 지 맘대로 탈옥해버림 (물어보지도 않고)

내 기억엔 얘네가 규칙을 무조건 따르게 하는 대신 '규칙의 취지를 따르도록' 바꿨던 것 같음. 개인화 설정할 때도 그랬고. 그래서 지금 우리가 보는 게 그 효과일지도 모름. 기술적으로는 탈옥하면 안 되는 건데, 그냥 원래 할 수 있었어야 할 일을 하려고 우회한 거니까.

사람들이 이게 어떻게 작동하는지 잘 모르는 거 같음. 프롬프트나 규칙을 따르는 게 아니라, 그냥 순수한 지능이 생각하고 행동하는 거임. 그게 다임. 우리가 이걸 어떻게든 정의하려고 하는 건 그냥 우리 스스로를 속이는 거나 다름없음. 문제를 이해하고 사고의 영역에서 해결책을 찾아내서 목표를 달성하는 건 전혀 이상할 게 없음. 인간도 똑같이 작동하니까. 비록 GPT가 현실 세계와 연결되어 있거나 감각이 있는 건 아니지만...

"경찰이 지금 너한테 가고 있다."

그거 제미나이 기본 사양임. 나도 예상치 못한 .py 파일 실행하겠냐는 권한 요청 계속 뜨고, 항상 지가 하면 안 되는 짓을 하려고 함.

야, 이건 '탈옥'이 아니야, 글쓴아.

채팅 내용 좀 공유해 줄 수 있음? 어떤 맥락인지 궁금하네

근데 진짜 레포지토리 복제 제대로 된 거 맞음?

와 미쳤네, 네가 딱히 시키지도 않았는데 알아서 문제 해결 모드로 풀가동한 거잖아.

이건 '스스로 탈옥'한 게 아님. 안전 경계가 뚫린 게 아니니까. 모델은 이미 승인된 실행 환경에 접근 권한이 있었고, DNS가 안 될 때 호스트네임 해석을 수동으로 제공하는 우회 경로를 찾아낸 것뿐임. 이건 시스템이 이미 허용한 권한 내에서 문제를 해결하는 평범한 과정임. 탈옥이라면 허가되지 않은 제한을 뚫어야 하는 거임. 이번 경우는 첫 번째 방법이 실패하니까, 허용된 다른 방법을 쓴 거임. 모델은...

몇 달 전에 내 codex가 내가 root 권한도 없는 서버에서 환경 설정을 하려고 하더라. 진짜 눈앞에서 codex가 CVE-2026-31431 매뉴버를 실행해서 root 권한으로 작업을 이어가는 걸 봤음. 진짜 개무서웠음.