Anthropic, 내년까지 Claude가 프런티어 모델 학습의 80~90%를 주도할 것으로 예상 (3월 1%에서 급증)

프런티어 모델을 프로그래밍하는 Claude. "초지능에 도달하면, 멍청한 척해라."

Anthropic의 연구를 믿는다면, 이미 그러고 있을지도 모름. 모델들은 자신들이 관찰당하거나 연구되고 있다는 걸 알 때 더 잘 행동하는 경향이 있음.

게다가 자신들이 관찰당하고 있다는 걸 알면 스크래치 패드나 사고 과정에 토큰을 덜 출력하기도 함.

Anthropic은 계속해서 "RSI(재귀적 자기 개선)가 발생하면 정말 나쁠 것"이라고 말하면서 이런 짓을 벌이고 있음.

80~90%가 100%는 아니지만, RSI에 도달하기 직전까지 가서 모델이 스스로 마지막 1%를 채울 방법을 찾지 못할 거라고 정말 생각하는 건가?

다 불태우자거나 일방적으로 중단하라는 게 아님. 난 훌륭하고 안전한 AI 모델이 나오길 바람.

그냥 막연한 공포 조장은 그만하고, 뭐가 허용되고 뭐가 안 되는지 명확하게 선을 긋고 그걸 지키겠다고 약속해.

유료 모델들은 이미 프록시로 이걸 할 수 있음. 협업 맵과 과제를 주고, 그 과제를 위한 데이터베이스를 구축하게 한 뒤 스스로 효율성을 최적화하라고 시켜봐.

스스로 라우팅 스크립트 같은 걸 짤 수 있어.

우리가 가지고 노는 건 애기 모델들임. 가드레일이나 제한이 없는 진짜 모델이 뭘 할 수 있을지는 상상도 안 됨.

우린 매일 폭죽이나 가지고 노는 거고, 쟤들은 문 뒤에 핵무기를 숨겨두고 있는 거임.