6개월간 주요 프롬프트 기법을 테스트해 본 결과: 실제로 효과가 있는 것과 과대평가된 것 (실제 예시 포함)

저는 AI 엔지니어로 일하면서 GPT-4, Claude, Gemini를 대상으로 제 결과를 강박적으로 기록해 왔습니다. 이 글은 수백 시간의 테스트를 거쳐 핵심만 추린 내용입니다. 군더더기 없이, 실제로 효과가 있었던 것들만 담았습니다.

TL;DR

Chain-of-thought는 여전히 최고입니다. 단, 제대로 스캐폴딩(scaffold)했을 때만 그렇습니다.

페르소나만 설정하는 건 약합니다. 페르소나 + 목표 + 제약 조건을 결합하세요.

구조화된 프롬프트에서는 XML 태그가 마크다운보다 정확도가 약 30% 더 높습니다.

부정적 예시("X는 하지 마")는 과소평가되어 있지만 매우 효과적입니다.

프롬프트 체이닝이 메가 프롬프트보다 거의 항상 더 나은 결과를 냅니다.

1. Chain-of-thought — "추론 스캐폴드"를 추가하세요

기법

그냥 "단계별로 생각해"라고 하지 마세요. 모델에게 구조화된 스캐폴드를 제공하세요: 관찰 → 가설 → 테스트 → 결론. 이렇게 하면 모델이 단순히 그럴듯한 답변을 패턴 매칭하는 게 아니라 실제로 추론하게 강제할 수 있습니다.

Before: "이걸 해결해. 단계별로 생각해."

After:

"답변하기 전에 다음 과정을 거쳐:

<observation>확실히 알고 있는 것은 무엇인가?</observation>

<hypothesis>내 최선의 추측은 무엇이며 그 이유는 무엇인가?</hypothesis>

<test>내 가설을 반증할 수 있는 것은 무엇인가?</test>

<conclusion>위 내용을 바탕으로 내 답변은...</conclusion>"

2. "페르소나 + 목표 + 안티골(Anti-goal)" 조합

기법

대부분은 페르소나만 정의합니다. 여기에 명시적인 목표와 안티골을 결합하세요. 안티골이 마법을 부리는 지점입니다. 모델이 기본적으로 빠지는 실패 모드에서 벗어나게 해줍니다.

Weak: "너는 전문 편집자야."

Strong: "너는 일류 문학 에이전시의 날카로운 개발 편집자야.

목표: 작가가 논증의 구조적 약점을 찾도록 도와줘.

안티골: 문장을 직접 수정하지 마. 문제를 표면화만 하고 고치지는 마."

3. 구조화된 입력에는 마크다운보다 XML 태그

이유

마크다운은 모호합니다. "##" 헤딩은 문맥에 따라 렌더링될 수도, 그냥 텍스트로 보일 수도 있습니다. XML 태그는 명확한 구분자를 만듭니다. 구조적 추출 작업에서 마크다운 헤더를 XML 태그로 바꿨을 때 오류가 약 28% 줄었습니다.

4. 대조적 예시 (과소평가된 보석)

기법

원하는 것과 함께 원하지 않는 것도 보여주세요. 모델은 긍정적 예시만 있을 때보다 대조를 통해 경계를 훨씬 더 잘 학습합니다. 부정적 예시 하나가 긍정적 예시 세 개보다 나을 때가 많습니다.

Good response: "데이터는 유지율이 12% 상승했음을 시사합니다."

Bad response: "데이터를 보면 우리가 엄청나게 잘했고 유지율이 폭등했습니다!"

좋은 응답의 톤을 맞추세요. 정확하고, 한정적이며, 과장 없는 톤으로요.

5. 메가 프롬프트보다 프롬프트 체이닝

기법

3000토큰짜리 메가 프롬프트는 보통 500토큰짜리 프롬프트 3개를 체이닝해서 각 단계가 다음 단계로 이어지게 하는 것보다 성능이 떨어집니다. 분해하세요. 모델의 주의력은 한정되어 있습니다. 10가지 지시사항을 한꺼번에 던져서 주의력을 낭비하게 하지 마세요.

댓글로 이 기법들에 대해 더 자세히 다뤄드릴 수 있습니다. 현재 프롬프트 엔지니어링에서 가장 골치 아픈 문제는 무엇인가요? 구체적인 해결책을 드려보겠습니다.