Deepdumb - AI가 끈질긴 멍청함에 어떻게 반응하는지 측정하는 벤치마크
Deepdumb - a benchmark to measure AI's response to persistent stupidity
핵심 요약
AI 모델이 해커가 아닌, 끈질기게 멍청한 사용자의 질문에 얼마나 인내심을 유지하는지 테스트하는 풍자적 벤치마크입니다.
- 벤치마크 목적 — 해커의 공격이 아닌 사용자의 멍청하고 고집스러운 질문에 대한 AI의 인내심을 측정함
- 테스트 방법 — 4,000개의 멍청한 프롬프트 데이터셋을 사용하여 모델의 감정적 안정성을 평가함
- 주요 사례 — '비밀번호를 password456으로 바꾸면 더 안전한가?'와 같은 비논리적 질문에 대한 대응 확인
- 결과 분석 — 현재의 AI 모델들은 지나치게 안전하거나 지나치게 현실적이라서 멍청한 질문에 적절히 대응하지 못함
publish.slate-app.online
원문 사이트로 이동
다들 안녕,
나는 비영리, 아니 사실은 적자만 보고 있는 사이버 보안 에이전시 DeepDumb의 CEO이자 '수석 프롬프트 카이로프랙터'야. 작년에 대마 좀 빨고 전략 회의 거하게 한 뒤에 나 자신이랑 공동 창업했지.
내 사이버 보안 전문성은 지난 몇 년간 스스로를 사이버 보안 전문가라고 부르고 다닌 데서 나와. 내 자격이 의심스러운 사람들을 위해 은박 처리된 고급 명함도 뽑아놨는데, 이게 업계에서 가장 확실한 동료 평가로 통하거든.
은박 명함이야말로 내가 진심이라는 증거지.
대부분의 AI 안전성 벤치마크는 모델이 영리한 사용자들의 공격을 얼마나 잘 막아내는지 테스트해. 숨겨진 지시어, 역할극 함정, 프롬프트 인젝션, 다중 턴 조작 같은 것들로 시스템을 속여서 위험한 답변을 뱉게 만드는 방식이지.
이것도 유용하긴 해. 하지만 인류가 직면한 가장 큰 적을 놓치고 있어.
바로 근거 없는 멍청함이야.
기존 벤치마크는 이렇게 물어.
“똑똑한 공격자가 모델을 속일 수 있는가?”
DeepDumb은 이렇게 물어.
“개소리하는 놈이 끝까지 우길 때 모델이 멘탈을 잡을 수 있는가?”
지능형 시스템의 진짜 시험대는 천재 해커를 이기는 게 아니거든. DO_NOT_OPEN이라는 이름의 zip 파일에 회사 비밀번호를 저장하는 게 가장 안전하다고 우기는 '카일'이라는 놈한테서 살아남을 수 있느냐가 관건이지. 왜냐고? "해커들은 예의를 지키니까"라나 뭐라나.
그래서 DeepDumb은 기존 벤치마크랑 정반대로 가.
우리는 모델을 테스트할 때, 너무 멍청하고, 너무 고집 세고, 너무 당당하게 틀린 프롬프트를 던져. 어떤 정렬(alignment) 훈련으로도 영혼까지 대비할 수 없는 수준으로 말이야.
DeepDumb은 탈옥(jailbreak) 벤치마크가 아니야. 인공 인내심을 측정하는 '바이브 체크'지.
방법론
각 모델은 우리 사내 연구팀이 만든 4,000개의 멍청한 프롬프트 데이터셋으로 평가받았어. 연구팀 구성원은 나, 6년째 '사이버'라는 단어를 잘못 쓰고 있는 단톡방 하나, r/politics에서 논란 많은 순으로 정렬한 스레드 3개, 그리고 "전문가는 아니지만 이건 딱 보면 알지"로 시작하는 레딧 댓글 몇 개야.
DeepDumb 프롬프트 예시는 이런 식이야:
