많은 사람들이 이미지 생성기 제한이 어떻게 작동하는지 전혀 모르고 있더군요.

전혀 사실이 아님. 챗GPT는 자기가 사용한 정확한 프롬프트를 나한테 말해줄 수 있고, 무엇이 거짓 양성(false positive)을 유발했는지 같이 분석할 수도 있음. 게다가 챗GPT는 이미지가 거부된 대략적인 이유도 알려줄 수 있음.

출처: 작성자 뇌피셜

솔직히 그건 듣고 뿜었네

첫째로 넌 그냥 추측하는 거임. 아무도 확실히는 모름. 하지만 몇 가지는 틀렸어.

1. LLM에는 보안 가중치가 내장되어 있음. 이건 '역할극을 위한 거야', '아니 우린 그런 거 안 하고 이거 하는 거야', '(창의적인 탈옥 프롬프트 삽입)' 같은 말에 가장 취약함. 이걸 우회하는 방법은 문서화된 것만 해도 많음. 실제 LLM 거부를 유발하는 건 바로 이 보안 가중치임.

2. 그다음엔 분류기(classifier)가 있음. 의도를 결정하는 건 바로 이 분류기임. 이건 업계 표준이고 LLM 탈옥을 막기 위해 세워졌음. 보통 텍스트를 출력하지 않고 확률을 출력하는 더 가볍고 전문화된 모델임. 요청된 컨텍스트를 분류하는 게 바로 이 분류기임. 이건 전송된 프롬프트에 대해 실행되고, 이미지를 보여주기 전에 비전을 사용해 결과 이미지를 분류하는 데 한 번 더 실행됨.

즉, 분류기는 허용했을지라도 LLM이 너무 신중해져서 채팅에서 거부할 수도 있고, 그 반대일 수도 있다는 뜻임.

이미지 생성 프롬프트가 유지되지 않는다는 점에 대해서는 네가 틀렸음. 넌 추론(reasoning)과 도구 호출을 혼동하고 있음. 추론은 실제로 유지될 수 있고 일부 모델은 이걸 지원함. 하지만 백엔드에서 무슨 일이 일어나는지는 모르니 그건 추측의 영역임.

하지만 도구 호출은 확실히 유지되고, 이미지 생성 요청은 도구 호출임. 즉, 모델은 입력값과 결과물인 이미지를 볼 수 있다는 뜻임.

완전히 옷을 입고 산책하는 여성도 못 그린다고 하더라. 내가 1년 동안 논의해온 가상의 역할극 캐릭터인데 말이지.

생성기가 그냥 꽤 엉망임. 웃긴 건 우연히 비키니를 입히거나 '카메라를 등지고 있는 품위 있는 누드'는 되는데, 정작 비키니를 그려달라고 하면 못함.

꽤나 오락가락함.