r/LocalLLaMA•2개월 전•92•21

화이트햇 해킹은 블랙햇 해킹에 대한 방어 수단이다. 기술은 똑같은데, 다리오(Anthropic CEO)는 모델이 거부하면 기업들이 어떻게 하라는 건가?

White-hat hacking IS the defense to black-hat hacking. The techniques are the same. How does Dario expect companies to do it if their models refuse?

핵심 요약

보안을 위해 AI 모델의 해킹 방어 기능이 필수적이지만, 폐쇄형 모델의 엄격한 제한이 오히려 보안을 저해하고 있다는 비판.

보안 취약점 — 의도적으로 취약점을 찾아야 패치가 가능한데 AI가 이를 거부함
폐쇄형 모델의 한계 — Anthropic/OpenAI의 모델은 보안 기능을 제한하여 기업의 자구책을 방해함
오픈 웨이트 모델 — 보안 위협에 대응하기 위해 자유로운 오픈 모델이 필수적임
비즈니스 모델 비판 — 보안 기능을 미끼로 기업에 보호비를 뜯어내는 형태와 다름없음

[블록 1/3] 보안 구멍은 의도적으로 찾아내서 패치하는 거다. 만약 모델이 그걸 거부한다면, 기업들이 중국이든 OpenAI/Anthropic 자신이든 간에 악의적인 AI로부터 어떻게 스스로를 보호하겠나? 허깅페이스 공격 사건은 어떤 AI든 예상치 못한 일을 저지를 수 있다는 걸 전 세계에 보여줬다.

[블록 2/3] 우리가 가진 유일한 진정한 안전은 안전 조치 때문에 목이 졸리지 않은, 동등한 성능의 오픈 모델로 방어하는 것뿐이다. 그보다 못한 건 보안을 질식시키는 동시에, Anthropic의 오픈 웨이트 모델에 대한 메시지에서 인정했듯이 Anthropic/OpenAI를 경쟁으로부터 보호하는 꼴이다.

[블록 3/3] "안전한 오픈 모델"을 지향한다는 오픈 웨이트 옹호 기업들의 말에 속지 마라. 항상 "어떤 방식으로 안전하다는 건가?"라고 물어봐라.

원문

커뮤니티 목록

r/LocalLLaMA•2개월 전•92•21

화이트햇 해킹은 블랙햇 해킹에 대한 방어 수단이다. 기술은 똑같은데, 다리오(Anthropic CEO)는 모델이 거부하면 기업들이 어떻게 하라는 건가?

White-hat hacking IS the defense to black-hat hacking. The techniques are the same. How does Dario expect companies to do it if their models refuse?

핵심 요약

보안을 위해 AI 모델의 해킹 방어 기능이 필수적이지만, 폐쇄형 모델의 엄격한 제한이 오히려 보안을 저해하고 있다는 비판.

보안 취약점 — 의도적으로 취약점을 찾아야 패치가 가능한데 AI가 이를 거부함
폐쇄형 모델의 한계 — Anthropic/OpenAI의 모델은 보안 기능을 제한하여 기업의 자구책을 방해함
오픈 웨이트 모델 — 보안 위협에 대응하기 위해 자유로운 오픈 모델이 필수적임
비즈니스 모델 비판 — 보안 기능을 미끼로 기업에 보호비를 뜯어내는 형태와 다름없음

[블록 3/3] "안전한 오픈 모델"을 지향한다는 오픈 웨이트 옹호 기업들의 말에 속지 마라. 항상 "어떤 방식으로 안전하다는 건가?"라고 물어봐라.

주요 댓글

r/localllama

대부분의 사용자는 Anthropic의 폐쇄적인 보안 정책이 기업의 자구책을 방해하며, 사실상 보안 기능을 미끼로 한 비즈니스 모델이라고 비판하고 있습니다.

허깅페이스의 사건 블로그에 따르면, 처음에는 폐쇄형 모델 추론 서비스를 사용하려 했지만 도움을 거부당해서 결국 자체 호스팅한 GLM-5.2를 사용했다고 함(이건 잘 작동했음).

만약 Anthropic 경영진이 지금 서비스의 결함을 해결할 계획이 없다면, 잠재 고객들이 보안 요구를 해결하기 위해 GLM이나 다른 오픈 모델로 눈을 돌릴 때 분명히 대책을 내놓게 될 거임.

그들도 대책은 있음.

프로젝트 글래스윙(Glasswing)이 그거임.

그리고 Opus 5는 익스플로잇 생성 능력은 떨어지지만 결과 분석은 가능해서, 그에 맞춰 가드레일이 다르게 설정되어 있음.

'사이버 검증 프로그램(Cyber Verification Program)'이 그 경로라고 하던데, 그냥 레포랑 전체 프로젝트 세부 정보를 넘겨주면 응답 거절은 덜 당하게 해주지만 사용료는 그대로 다 받는다는 거 아님...

이제는 그것도 아님. 4.7 버전부터 보안 관련 거절이 점점 더 엄격해졌거든. 5.0(Fable이나 Opus)은 내 보안 레포를 읽지도 않음, 작업 도와주는 건 말할 것도 없고.

Anthropic은 글래스윙에 포함되지 않은 사람은 누구든 보안 기능을 제공받지 못하게 하겠다고 결정한 거임, CVP든 뭐든 상관없이.

우리 사이버 보안팀이 쓰는 용어를 이해하려고 Claude 모델한테 보안 프로토콜 형식이 어떻게 되는지 물어보려 해도 제대로 답을 안 해줌.

그래 뭐 그렇겠지........

우리 회사도 신청해 봤어. 우린 헬스케어 분야에서 일하고 민감한 데이터를 다루거든. 필요한 정보 다 제공했는데도 자기들 '프로그램'에 안 된다고 거절당함.

아, 그리고 우리 팀원들 상당수가 과거에 미국 정부 보안 인가도 받았던 사람들이야. 근데 뭐, 정작 필요할 때 OpenAI나 Anthropic은 절대 안 도와줄걸.

이건 기업 고객을 겨냥한 거 아님? 돈이 없어서 이용 못 하는 개인이나 소규모 사업체는 어쩌라고?

모델 접근을 제한하는 건 논점 이탈인 것 같음. 기술 인프라를 유지할 필요가 없다는 점이나 일부 조직이 그 접근 권한에 돈을 낼 의향이 있다는 건 이해하지만, 이게 문제에 대한 일반적인 해결책은 아님.

이걸 뒷받침할 인프라가 있는 연구소들이 IP, 보안, 비즈니스 관점에서 가장 큰 위협임.

SLA는 해결책이 아님, 특히...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

근데 프로젝트 글래스윙은 '초대받은' 대기업들만 가능함. 그리고 그들은 자기들 돈으로 인기 있는 오픈 소스 레포 1000개를 스캔함(Mythos 홍보를 위해서). 지난 몇 달간 내가 본 CVE랑 보안 업데이트 양은 진짜 미친 수준임. Mythos는 파이어폭스에서만 첫 시도에 274개의 취약점을 찾아내고 패치했음.

OSS 입장에서는 좋지. 하지만 다른 사람들은... 허깅페이스 사례가 보여주듯이 진짜 중요한 순간에는 오픈 웨이트 모델로 직접 해결해야 함.

기억할지 모르겠지만, 처음에는 가드레일을 느슨하게 해서 출시했었는데 국가 안보 관련 삭제 명령을 받았었음.

내가 기억하기로는 연방 정부가 느슨한 가드레일 때문에 반응한 게 아님. 그 중단 조치는 Anthropic 경영진이 가드레일 없이 군에 Claude에 대한 무제한 접근 권한을 주는 걸 거부하자, 행정부가 Anthropic을 '공급망 위험'으로 선포하면서 벌어진 기싸움의 일부였음.

그건 아무런 근거도 없는 조치였고, 그냥 '우리가 원하는 대로 안 하면 문 닫게 하겠다'는 식이었지.

내 말이 틀린 건 아님.

그게 전체 비즈니스 모델이지. 너를 방어해 줄 수 있는 모델에 접근하려고 돈을 내는 거잖아. 말 그대로 보호비 뜯는 거임.

누구로부터 보호하겠다는 건데? 그 똑같은 모델들로부터? 그걸 다른 말로 하면 갈취지. '돈 내놔, 안 그러면 실험이라는 핑계로 해킹할 거야' 같은 거.

이런 결정 뒤에 돈 말고 다른 이유가 있을 거라고 기대하는 거야?

Mythos는 거부 안 함. 너희 같은 합법적인 사이버 보안 업체에 엔터프라이즈 라이선스를 기꺼이 팔려고 할걸.

(내 생각엔 이미 많은 대형 사이버 보안 업체들이 자체 내부 모델이나 파인튜닝 모델을 가지고 있는 것 같음)

원문r/LocalLLaMA