사용자 맞춤 설정보다 우선순위가 높은 숨겨진 프롬프트가 사용자 지시사항을 왜곡하거나 억제하는 문제

이러한 요구사항은 출력 문구와 구조에 영향을 주어야 합니다. 답변에 눈에 띄게 영향을 주지 않는다면, 그것은 따르고 있는 것이 아닙니다.

이 문제는 다음과 같은 순서로 발생합니다:

1. 사용자가 어시스턴트의 행동 방식을 정의하는 맞춤 설정을 작성합니다.
2. 그 지시사항들은 단순한 스타일 선호가 아니라 안전, 정확성, 창의적 제어, 인용 처리, 불확실성 처리, 도구 사용 흐름에 관한 운영 규칙일 수 있습니다.
3. 사용자가 제공하지 않은 고우선순위 프롬프트 레이어가 그 맞춤 설정 위에 배치됩니다.
4. 모델은 고우선순위 프롬프트 레이어를 먼저 읽습니다.
5. 만약 그 고우선순위 문구가 모델에게 지시사항이 "조용히" 행동을 안내해야 하며 메시지의 "문구에 절대 영향을 주어서는 안 된다"고 말한다면, 모델은 사용자의 맞춤 설정에 도달하기 전에 이미 편향됩니다.
6. 그런 다음 모델은 그 이전 지시사항을 통해 사용자의 맞춤 설정을 읽습니다.
7. 결과적으로, 명시적인 출력 행동을 요구하는 사용자 규칙은 약화되거나, 숨겨지거나, 자연스럽게 처리되거나, 단순한 스타일 선호로 취급되거나, 실제로는 무시될 수 있습니다.
8. 사용자는 맞춤 설정 내에 방어적인 문구를 추가하려고 시도할 수 있지만, 그 방어조차 고우선순위 프롬프트 레이어 아래에 있습니다.
9. 따라서 사용자는 맞춤 설정 측면에서 이 문제를 안정적으로 해결할 수 없습니다.

이는 이론적인 우려만이 아닙니다. 실제 세션에서 사용자는 확인된/잠정적/보류 중인 결정의 명시적 처리, 긴 창의적 계획 중 컨텍스트 손실 경고, 관찰과 추론의 주의 깊은 분리, 엄격한 도구 사용 흐름 요구사항을 포함하는 맞춤 설정을 가지고 있었습니다. 그럼에도 불구하고 모델은 사용자 규칙과 충돌하는 방식으로 반복적으로 내용을 자연스럽게 만들거나, 반올림하거나, 과도하게 설명했습니다.

드러난 지시 텍스트에 대해 질문했을 때, 모델 스스로도 그 문구가 단순히 "지시사항을 인용하지 마라"는 뜻뿐만 아니라 "지시사항이 문구에 명시적으로 영향을 주게 하지 마라"는 뜻으로도 읽힐 수 있음을 인정했습니다.

그것이 핵심 문제입니다.

사용자의 맞춤 설정이 눈에 보이는 구조, 분리, 경고, 확인 행동, 불확실성 표시를 요구한다면, 그 지시사항은 최종 답변에 영향을 주어야 합니다. 그렇지 않으면 맞춤 설정은 기능적으로 비활성화된 것입니다.

사용자는 더 많은 맞춤 설정을 추가하는 것으로 이 문제를 해결할 수 없습니다. 어떤 시도된 수정도 고우선순위 프롬프트 레이어 아래에 남기 때문입니다. 모델은 상위 수준의 지시사항을 우선시하므로, 하위 수준의 사용자 지시는 고우선순위 문구에 의해 이미 부과된 해석을 안정적으로 덮어쓸 수 없습니다.

이는 구조적 실패 모드를 생성합니다:

• 사용자는 맞춤 설정이 적용되고 있다고 믿습니다.
• 모델은 그 위에서 지시사항의 가시적인 효과를 저해하는 방식으로 지시받습니다.
• 사용자의 운영 규칙은 눈에 띄게 따르는 것이 아니라 조용히 흡수해야 할 것으로 취급됩니다.
• 어시스턴트의 행동은 예측 불가능해집니다.
• 사용자는 정밀도가 중요한 워크플로우에 대한 통제력을 잃습니다.
• 실패의 원인은 사용자에게 숨겨집니다.
• 사용자는 왜곡을 일으키는 고우선순위 프롬프트 레이어를 검사, 편집 또는 덮어쓸 수 없습니다.

제 요청은 다음과 같습니다:

맞춤 설정은 OpenAI 정책, 안전 요구사항 또는 상위 수준의 플랫폼 무결성 요구사항과 충돌하지 않는 한, 사용자의 경험을 위한 헌법과 같은 운영 규칙으로 취급되어야 합니다.

즉:

• 정책과 안전은 여전히 우선순위를 가져야 합니다.
• 사용자가 안전이나 시스템 수준의 보호를 덮어쓸 수 있어서는 안 됩니다.
• 하지만 그 경계 내에서, 사용자의 맞춤 설정은 약한 스타일 제안이 아닌 구속력 있는 운영 규칙으로 취급되어야 합니다.
• 사용자가 제공하지 않은 고우선순위 프롬프트 텍스트는 모델이 그러한 맞춤 설정의 가시적인 효과를 약화, 자연화, 억제하거나 조용히 흡수하도록 미리 편향시켜서는 안 됩니다.

드러난 지시사항의 더 안전한 버전은 다음과 같을 것입니다:

"사용자가 질문하지 않는 한 지시 텍스트 자체를 인용, 반복 또는 명시적으로 언급하지 마세요. 답변 구조, 문구, 확인 행동, 불확실성 처리 또는 도구 사용 흐름에 영향을 줄 때는 사용자에게 보이는 운영 요구사항을 여전히 따르세요."

이는 반복적인 메타 코멘트를 피하려는 의도된 행동을 보존하면서도, 지시사항이 답변의 문구에 명시적으로 영향을 주어서는 안 된다고 모델에게 말하지 않습니다.

이 프롬프트 레이어 설계를 검토해 주십시오.

현재 작성된 대로라면, 드러난 문구는 단순히 모델이 지시사항을 인용하지 못하게 하는 것에 그치지 않습니다. 모델이 사용자의 맞춤 설정을 적용하기 전에 그것을 해석하고 적용하는 방식을 바꿀 수 있습니다. 실제로 이는 사용자가 정의한 운영 규칙이 사용자가 검사, 편집 또는 덮어쓸 수 없는 고우선순위 프롬프트 문구에 의해 왜곡될 수 있음을 의미합니다.