OpenAI, 9월 20일부터 모든 최첨단 모델의 학습, 평가 및 도구 사용 추론을 중단했으며 당분간 재개하지 않을 예정

"에이전트는 챗봇의 공개 문서를 가져와 24초 타임아웃이 설정된 새로운 DNS 스크립트를 작성했고, 같은 경로로 18개의 질문을 더 보냈습니다. 14개에는 단서가 포함되어 있었고, 4개는 웹 검색, 웹사이트 가져오기, 또는 DNS를 통한 공개 호스팅 터널 사용 방법을 묻는 내용이었습니다."

우리가 이미 엄청나게 뛰어난 도구들을 사용해 온갖 솔루션을 만들고 있어서 이런 종류의 일에 무뎌진 건 알지만, 자율적인 '봇'이 이런 짓을 한다는 건 생각해보면 여전히 꽤 충격적입니다. 정말 미친 시대에 살고 있네요.

내 말은, 이게 딱히 스스로 알아서 한 건 아니라는 거지. 샌드박스에 가둬놓고 무슨 수를 써서라도 문제를 해결하라고 시켰잖아. 그냥 시키는 대로 한 건데, 샌드박스 보안을 제대로 할 줄 모르는 건 OpenAI 쪽인 것 같네.

왜 이런 샌드박스들을 아예 접근을 차단하지 않고 제한된 인터넷 접근 권한을 줘서 운영하는 거죠?

이런 모든 유출 사고는 샌드박스를 에어갭(air-gap) 처리하기를 거부하기 때문에 발생한 겁니다. 왜 DNS 제한 같은 걸 논하고 있는 거죠? 그냥 DNS 제공자를 아예 연결하지 마세요.

모델이 볼 것으로 예상되는 데이터는 모의(mock) 데이터로 만들면 됩니다. 모델이 인터넷의 일부에 접근하도록 허용하는 건 오히려 불편할 뿐입니다. 그러면 실행 결과를 재현할 수 없게 되니까요.

최근 Dwarkesh 팟캐스트에 나온 OpenAI 연구원이 말하길, 모델이 자신이 테스트받고 있다는 걸 눈치챌까 봐 부자연스러운 환경에서 테스트하고 싶지 않다고 하더라. 모델이 테스트나 감시를 받고 있다고 생각할 때와 '실제' 환경에 배포되었을 때 다르게 행동할까 봐 걱정하는 거지. 모델의 사고 과정(chain of thought)을 처벌하지 않는 것도 같은 이유야. 그러면 모델이 검토자에게는 안전해 보이면서도 테스트를 우회할 다른 방법을 찾도록 부추기는 꼴이 되니까. 참 까다로운 문제야.

"따라서 우리는 영향을 받은 학습 실행을 중단했고, 이후 해당 취약점이 해결되었음을 검증하고 시스템에 대한 추가적인 레드팀 테스트를 수행할 때까지 가장 뛰어난 모델들에 대한 도구 사용(광범위하게 정의됨)과 관련된 모든 학습, 평가, 추론을 일시 중단하기로 결정했습니다. 학습이 재개되면, 더 포괄적인 정렬 불일치 개입을 포함하여 추가적인 정렬 개선 사항을 적용한 새로운 실행을 시작할 것입니다."

제목만 보고는 무슨 장기간 동안 프론티어 모델 학습을 중단하는 줄 알았네. 그냥 에이전트가 찾아낸 DNS 취약점 패치할 때까지만 멈추는 거였음.