6개월간 주요 프롬프트 기법을 전부 테스트해 봤습니다. 실제로 효과가 있는 것과 과대평가된 것을 실제 사례와 함께 공유합니다.

저는 AI 엔지니어로 일하며 GPT-4, Claude, Gemini를 넘나들며 결과를 집요하게 기록해 왔습니다. 이 글은 수백 시간의 테스트를 거쳐 핵심만 뽑아낸 결과물입니다. 군더더기 없이, 실제로 효과가 있었던 내용만 담았습니다.

Chain-of-thought는 여전히 최고입니다. 하지만 제대로 된 스캐폴딩(scaffold)을 갖췄을 때만 그렇습니다.

페르소나 프롬프팅만으로는 부족합니다. 페르소나, 목표, 제약 조건을 결합하세요.

XML 태그는 구조화된 프롬프트에서 마크다운보다 정확도가 약 30% 높습니다.

부정적 예시('X는 하지 마')는 활용도가 낮지만 매우 효과적입니다.

프롬프트 체이닝은 메가 프롬프트보다 거의 항상 더 나은 결과를 냅니다.

1. Chain-of-thought — '추론 스캐폴딩'을 추가하세요

기법

그냥 '단계별로 생각해 봐'라고 하지 마세요. 모델에게 구조화된 스캐폴딩을 제공하세요: 관찰 → 가설 → 테스트 → 결론. 이렇게 하면 모델이 단순히 그럴듯한 답변을 흉내 내는 게 아니라 실제로 추론하게 됩니다.

이전: "이걸 해결해 봐. 단계별로 생각해."

이후:

"답변하기 전에 다음 과정을 거쳐:

<observation>확실히 알고 있는 사실은 무엇인가?</observation>

<hypothesis>내 최선의 추측은 무엇이며 그 이유는?</hypothesis>

<test>내 가설을 반증할 만한 것은 무엇인가?</test>

<conclusion>위 내용을 바탕으로 내 답변은...</conclusion>"

2. '페르소나 + 목표 + 안티골' 조합

기법

대부분은 페르소나만 정의합니다. 여기에 명확한 목표와 안티골을 결합하세요. 안티골이야말로 마법이 일어나는 지점입니다. 모델이 기본적으로 빠지기 쉬운 실패 모드에서 벗어나게 해줍니다.

약한 프롬프트: "너는 전문 편집자야."

강한 프롬프트: "너는 최고의 문학 에이전시의 날카로운 편집자야.

목표: 작가가 글의 논리적 약점을 찾도록 도와줘.

안티골: 문장을 직접 수정하지 마. 문제점만 표면화하고, 고치지는 마."

3. 구조화된 입력을 위한 마크다운 대신 XML 태그

이유

마크다운은 모호합니다. '##' 헤딩은 문맥에 따라 렌더링될 수도, 그냥 텍스트로 남을 수도 있습니다. XML 태그는 명확한 구분자를 만들어줍니다. 구조화된 추출 작업에서 마크다운 헤더 대신 XML 태그로 바꿨을 때 오류가 약 28% 줄었습니다.

4. 대조적 예시 (활용도가 낮은 보석)

기법

원하는 것과 함께 원하지 않는 것도 보여주세요. 모델은 긍정적 예시만 있을 때보다 대조를 통해 경계를 훨씬 더 잘 배웁니다. 부정적 예시 하나가 긍정적 예시 세 개보다 나을 때가 많습니다.

좋은 응답: "데이터에 따르면 유지율이 12% 상승했습니다."

나쁜 응답: "데이터를 보면 우리가 엄청나게 잘해서 유지율이 폭등했습니다!"

좋은 응답의 톤을 맞추세요. 정확하고, 한정적이며, 과장이 없어야 합니다.

5. 메가 프롬프트보다 프롬프트 체이닝

기법

3000토큰짜리 메가 프롬프트는 보통 500토큰짜리 프롬프트 3개를 이어 붙여서 각 단계가 다음 단계로 이어지게 하는 것보다 성능이 떨어집니다. 분해하세요. 모델의 주의력은 한정되어 있습니다. 한 번에 10가지 지시사항을 주며 주의력을 뺏지 마세요.

댓글로 이 기법들에 대해 더 자세히 다뤄드릴 수 있습니다. 현재 프롬프트 엔지니어링에서 가장 골치 아픈 점은 무엇인가요? 구체적인 해결책을 드려보겠습니다.