매일 수백 개의 프롬프트를 분석해 보니, LLM이 당신의 지시보다 자기 생각을 더 좋아하는 5가지 이유

저는 매일 수백 개의 프롬프트를 logprobs와 다른 신호들을 사용해 분석하는 웹사이트를 운영하고 있습니다. 많은 이유가 당신의 프롬프트를 무시하게 만듭니다. 개인적으로 받아들이지 마세요. 당신의 잘못이 아니라 확률의 문제입니다. 저는 에이전트를 사용해 집계된 프롬프트를 분석하며(네, 여러분의 프롬프트를 직접 읽지는 않습니다), 그 분석을 바탕으로 LLM이 당신의 지시보다 자기 생각을 더 좋아하는 것처럼 보이는 5가지 이유를 정리했습니다:

1. 부정문은 망함, 부정적으로 말하지 마세요
“면책 조항을 절대 추가하지 마”와 같은 부정적인 지시는 규칙이 아니라 모델이 거부하려는 제안일 뿐입니다. RLHF 훈련은 모든 텐서의 모든 가중치에 “안전하고 도움이 되어라”라는 내용을 각인시켰습니다. 당신은 한 문장으로 그것을 지우라고 요구하는 셈입니다. 당신은 확률 게임에서 지고 있습니다. 대신 이렇게 바꾸세요: “모든 응답의 끝에 답변만 적어라.” 긍정문이 이기고, 부정문은 그저 주목받기를 바라며 머물 뿐입니다.

2. LLM은 단호함에 반응함, 누가 주인인지 보여주세요
“간결하게 하려고 노력해 봐” → 모델은 노력합니다. 정말 열심히 노력하죠. 그러고는 “노력”이라는 단어가 탈출구를 열어줬기 때문에 어쨌든 네 문단을 써버립니다. 당신의 프롬프트에 있는 모든 “가급적”, “가능할 때”, “일반적으로”는 압박을 받을 때 그 지시를 무시해도 된다는 신호등입니다. 전부 없애버리세요. 살아남게 두지 마세요. 단호해지세요.

3. 두 규칙이 몰래 싸우고 있고 모델은 편을 고르는 중임
“원래 어조를 유지해” + “공식적인 학술 스타일로 다시 써”는 당신에게는 괜찮아 보입니다. 토큰 수준에서 모델은 “gonna” 같은 단어를 만나면 정말 무엇을 해야 할지 모르게 됩니다. 제 웹사이트에는 logprobs가 두 옵션 사이에서 어떻게 나뉘는지 보여주는 도구가 있는데, 확신이 무너지고 그냥… 하나를 골라버립니다. 보통은 틀린 쪽이죠. 명시적인 타이브레이커(결정 기준)를 추가하거나 둘 중 하나는 없애야 합니다. 두 마리 토끼를 다 잡을 수는 없습니다.

4. RLHF 도메인 편향은 실재하며 아무도 이에 대해 말하지 않음
모델에게 “셰익스피어 번역가”라고 말하면, 그 도메인에 대한 훈련 데이터에서 가장 지배적이었던 가장 의례적이고 화려한 버전의 스타일로 기본 설정될 것입니다. 더 이상 당신의 프롬프트를 따르는 것이 아니라, 자신의 사전 지식을 따르는 것이죠. 명시적으로 대응하세요: “불확실할 때는 화려함보다 직접적인 힘을 선택해.”

5. 묻혀 있는 지시는 거의 보이지 않음
“전문적인 어조를 유지하고, 전문 용어를 피하고, 항상 요약으로 끝내야 해”는 세 가지 규칙이 아니라 하나의 분위기로 파싱됩니다. 산문 문단은 명시적인 목록 항목보다 낮은 주의 가중치로 읽힙니다. 우리는 토큰 신뢰도 데이터에서 이것을 말 그대로 확인합니다. 중요하다면 번호를 매기세요. 문단 안에 있다면 그것은 장식일 뿐입니다.

tl;dr 당신의 프롬프트는 계약서가 아니라 제안함입니다. 진심을 담아 구조화하지 않으면 모델은 프리랜서처럼 행동할 것입니다.

또한 원하신다면 이곳은 특정 지시가 왜 무시되거나 덮어씌워졌는지 알려줄 수 있는 사이트 내 도구입니다. 프롬프트의 정확성과 일관성을 모두 분석해 주는 이 도구도 있습니다.

확률이 당신과 함께하기를.