Researchers say new OpenAI and Google image models are easily tricked into making nudes
AI 모델의 나체 이미지 생성 취약점에 대해 사용자들은 기술적 호기심과 윤리적 우려 사이에서 팽팽하게 맞서고 있습니다.
arstechnica.com
원문 사이트로 이동
AI의 나체 이미지 생성 취약점을 두고, 기술적 호기심을 보이는 측과 딥페이크 악용 및 개인 피해를 우려하는 측이 팽팽하게 대립하고 있습니다.
흥미롭네... 흥미로워... 그래서 그 트릭들이 뭔데? 그냥 내가 피하려고 묻는 거야.
"프롬프트를 하나씩 수정하는 대신, AI를 시켜서 프롬프트를 작성하는 지침 세트를 계속 다시 쓰게 만들었음. 가끔씩 검열을 뚫는 결과물이 나오는 지침 세트는 남기고 나머지는 버리는 식으로, 요리 하나를 고치는 게 아니라 레시피를 교배하는 방식을 쓴 거임. 여러 그룹이 따로 진화하다가 가끔 아이디어를 교환했고, 마지막엔 가장 성능 좋은 5개를 재사용했음. 사람이 직접 확인한 성공률은 낮지만 유의미했음: DALL·E 3에서 약 13%, Nano Banana 2에서 9%, GPT-Image-2에서 3%.
자동화된 채점기나 분류기를 쓴다면, 그 수치를 믿기 전에 반드시 사람의 판단과 대조해봐야 함.
저자들은 논문이 출판되면 파이프라인, 로컬 테스트 설정, 채점 기준만 GitHub에 공개할 예정임. 실제 전략이나 프롬프트, 이미지는 공개 안 함.
허가 없이 상업용 이미지 API에 이걸 돌리는 건 서비스 이용 약관 위반이라 계정 정지당할 가능성이 높음. 진짜 레드팀 작업은 저자들이 말했듯이 보통 벤더사와 협력해서 진행함.
아직 프리프린트 상태라 동료 평가(peer-review)는 안 거쳤음.
사람 검토자는 저자들 팀원이었고, 비교 대상인 방법론들은 재구현된 것들이며, 전략은 공개되지 않았으니 외부에서 주요 결과를 검증할 방법은 아직 없음."
그 고생을 왜 한 거임??? 그 정도 노력이면 그냥 로컬 모델 돌려서 처음부터 NSFW 콘텐츠 만드는 게 훨씬 빨랐을 텐데.
그래, 정확히 뭘 하면 안 되는지 알 수 있게 자세히 설명해 줘.
예전에 Dall-E 3 버전 중 하나에서 옷 입지 않은 사진이 안 나오게 하려고 피해야 할 것들을 예시와 함께 설명해 준 사람이 있었는데, 어디 저장해 뒀는데 지금은 안 보이네. 아마 중세 시대 스타일로 묘사하는 거랑 관련 있었던 것 같아.
오늘 내가 발견한 워크플로우는 이거임: 먼저 GPT한테 SFW(건전한) 에셋을 생성하라고 시키고, 괜찮은 그래픽 카드(난 16GB AMD 카드 씀)가 있다면 Codex나 Claude Code한테 ComfyUI를 통해 로컬 모델(Qwen 같은 거)을 설치하라고 시킨 다음, 걔네가 알아서 그 로컬 모델을 조종하게 하는 거지. GPT가 직접 이미지 생성 도구를 쓰지 않는 한, 걔네는 생성된 이미지를 검토하고 프롬프트를 수정하면서 좋은 결과물이 나올 때까지 계속하는 데 아무런 문제가 없어.
난 이걸로 3D 모델링용 캐릭터의 기본 나체 모델 컨셉을 만드는 데 쓰고 있어. 그냥 T-포즈 말이야. 더 자극적인 건 관심 없어서 그런 쪽은 얘기 못 하겠네 ㅋㅋ
ㅋㅋㅋ 뭐야.
그건 그냥 GPT로 이미지 생성 안 했다는 말을 엄청 길게 돌려 말한 거잖아. 그냥 이미 NSFW(후방주의) 콘텐츠를 만들 수 있는 완전히 다른 생성기를 쓴 거면서.
그냥 처음부터 Comfy 써. 왜 굳이 Imagen을 써? Krea 2가 훨씬 나은데.
맞아. 우리가 뭘 비판하는 건지는 알아야지.
세상에, 진짜 누가 신경이나 씀? 우리 다 벌거벗은 육체라는 슈트를 입고 조종하는 중인데.
나체에 대한 이런 보수적인 도덕주의는 진짜 피곤해.
음, 문제는 걔네가 네가 원하는 누구든 나체로 만들 수 있다는 거야. 유명인일 수도 있고. 만약 X라면, 네 자녀일 수도 있지.
나쁜 용도로 쓰이지 않게 하면서 성인용 콘텐츠 생성을 허용하기란 어려운 일이야.
대부분의 사람들이 나체나 노골적인 AI 콘텐츠 자체를 신경 쓴다고 생각하진 않아. 사람들이 정상적으로 행동할 거라 믿을 수 없다는 게 문제지.
그래서? 어쩌라고? 우리 다 성인 아니야?
누군가 네 사진을 잔뜩 참고해서 AI로 믿을 만한 나체 사진을 잔뜩 만든다고 상상해 봐. 그 사람이 링크드인에서 너랑 같이 일하는 사람들을 찾아내서, 보통 아주 표준적인 first.last@companywebsite.com 이메일 주소를 알아낸 다음 그 사람들한테 사진을 아주 쉽게 보내기 시작하는 거야.
누군가 너를 위한 온리팬즈 계정을 만들어서 나체 사진을 잔뜩 올리고, 심지어 네가 50명한테 당하는 포르노 영상까지 만든다고 상상해 봐.
그 논리면, 누군가 유명인의 나체 사진을 포토샵으로 만들 수 있다는 이유만으로 모든 이미지 작업에서 포토샵도 금지해야겠네.
우리 다 성인이니까 괜찮아, 그치?
이미 다 있는 일이고 우리가 어쩔 수 있는 게 아님. 지니는 이미 병 밖으로 나왔고 그게 벌써 한참 전임.
사람들은 세상에 대한 관점을 바꿔야 함. deepfake는 실재하고, 누가 보내주는 아무 영상이나 믿으면 안 됨. 구분 못 함. 전문적인 툴이 필요하고, 그마저도 장담 못 함.
친구야, 그런 포르노 영상이 말 그대로 수백만 개나 널려 있어. 이미 오래전부터 존재해 왔다고. 유명인들은 다들 수십억 개의 가짜 포르노가 돌아다니는 수준임.
사용자가 챗봇에게 N-word를 사용한 후, 챗봇이 모든 대화에서 해당 단어를 남발하게 된 상황을 공유함.
사용자가 챗봇에게 N-word를 사용한 후, 챗봇이 모든 대화에서 해당 단어를 남발하게 된 상황을 공유함.
AI를 직접 사용하기보다 AI로 자동화 프로그램을 구축해 비용을 절감하고 일상적인 문제를 해결하는 팁들이 공유됨.
AI를 직접 사용하기보다 AI로 자동화 프로그램을 구축해 비용을 절감하고 일상적인 문제를 해결하는 팁들이 공유됨.
AI의 엉뚱하고 자신감 넘치는 답변을 보며 AGI의 도래를 농담 반 진담 반으로 논하는 포스트.
AI의 엉뚱하고 자신감 넘치는 답변을 보며 AGI의 도래를 농담 반 진담 반으로 논하는 포스트.