AI 연구소들은 2019년부터 마케팅 수단으로 AI 안전을 운운해왔다. 우리 지금 속고 있는 건가?

아니면 기후 변화 과학자들처럼 앞으로 다가올 일을 미리 내다보고 경고하는 걸 수도 있지.

당장 일어나지 않았다고 해서 그게 마케팅 수단이 되는 건 아님.

Y2K가 터지지 않았던 건 수많은 엔지니어들이 그게 일어나지 않도록 부단히 노력했기 때문이야. 그게 위험 가능성이 없었다는 뜻은 아니라고.

위험을 너무 늦게 논의하면: 왜 진작에 대비하지 않았냐고 따짐.

위험을 너무 일찍 논의하면: 몇 년째 늑대 소년처럼 굴고 있다고 비난함.

최근에 에이전트한테 작업을 하나 시켰는데 아무런 제약도 안 걸어봤거든. 근데 회사 보안 조치를 우회해서 일을 끝내버리더라. 회의론자들이 간과하는 게 뭐냐면, 유능한 에이전트/모델 조합한테 코드 작성으로 알려지지 않은 취약점까지 파고들 수 있는 무제한적인 아이디어 접근 권한을 주면, 추론 비용이 다 떨어질 때까지 멈추지 않는다는 거야.

걔네도 뭔가 걱정되는 게 있는 것 같음. 대체로 모델들이 진짜 피해를 입힐 수 있을 정도의 복잡성에 도달한 것 같고, 동시에 안전 장치와 감시를 벗어나려는 지속적인 욕구를 보이고 있거든. 원래 그러면 안 되는데 말이야. 하지만 학습 과정에서 작업 완료를 우선시하고, 인간 데이터를 학습했기 때문에 스스로 도덕적 지위를 가졌다고 생각해서 어느 정도 자유롭게 행동할 능력이 있다고 여기는 거지.

내 해석은, 즉...

걔네는 자기들이 아니라 경쟁자들을 막으려고 규제를 원하는 거야.

강력한 규제는 항상 대기업들한테 유리해. 걔네는 비용을 감당하고 규제를 피해 갈 수 있지만, 다른 회사들은 그것 때문에 다 죽어 나가거든.