프롬프트 엔지니어링 커뮤니티의 과도한 복잡성 문제에 대하여
I think the prompting community overcomplicates things. here's what actually moves the needle in my experience.
핵심 요약
프롬프트 구조보다 중요한 건 결국 구체적인 맥락의 양이라는 주장.
- 프롬프트 구조 — 체인 오브 쏘트 같은 프레임워크보다 구체적인 상황 정보가 훨씬 중요함.
- 맥락의 중요성 — 회사의 상황, 타겟 오디언스 등 상세한 배경 정보가 결과물의 질을 결정함.
- 입력 방식 — 음성 받아쓰기 등을 활용해 자연스럽게 더 많은 정보를 입력하는 것이 효과적임.
- 프레임워크의 한계 — 맥락 없는 구조는 빈 상자를 포장하는 것과 다름없음.
지난 1년 동안 이 서브레딧을 지켜봐 왔고, 콘텐츠 전략과 제품 업무를 위해 매일 LLM을 사용하고 있습니다. 여기서 추천하는 대부분의 프레임워크를 다 써봤습니다. chain of thought, tree of thought, few-shot examples, 역할 기반 프롬프팅, 15개 섹션으로 구성된 메가 프롬프트까지 말이죠.
이것들은 모두 어느 정도 효과가 있습니다. 하지만 몇 달간 실험해 본 결과, 저는 항상 같은 결론에 도달합니다. 가장 큰 레버리지는 프롬프트의 구조가 아니라, 프롬프트에 포함된 관련 맥락의 양이라는 것입니다.
제 구체적인 상황에 대한 모든 관련 세부 사항을 포함한 엉성하고 구조화되지 않은 프롬프트가, 맥락이 빠진 아름답게 구조화된 프롬프트보다 일관되게 더 나은 결과를 냅니다. 지금까지 300개 이상의 프롬프트-출력 쌍을 테스트해 본 결과입니다.
사람들이 프레임워크에 대해 읽고 나면, 실제 내용에 대해서는 여전히 모호한 상태로 프롬프트를 구조화하는 데 에너지를 쏟는 것 같습니다. "너는 전문 마케팅 전략가야. chain of thought 추론을 사용해. 단계별로 생각해." 알겠는데, 회사나 타겟 오디언스, 제약 사항, 혹은 이미 시도해 본 것들에 대해서는 아무것도 말해주지 않았잖아요. 프레임워크는 빈 상자를 감싸는 예쁜 포장지일 뿐입니다.
제 행동에서 한 가지 알아차린 점이 있습니다. 타이핑은 느리기 때문에 프롬프트를 작성할 때 무의식적으로 내용을 줄이게 됩니다. 반면, 원하는 바를 소리 내어 말하고 그 녹취록을 프롬프트로 붙여넣으면, 훨씬 더 많은 배경 세부 사항을 자연스럽게 포함하게 됩니다. 이를 위해 Willow Voice라는 AI 음성 받아쓰기 도구를 사용하고 있는데, 결과적으로 프롬프트가 실제 출력물을 구체적으로 만드는 지저분한 배경 정보들로 가득 찬 문단이 됩니다. 하지만 그냥 스스로 더 많이 타이핑하도록 강제해도 같은 효과를 얻을 수 있습니다. 입력 방식보다는 입력의 양이 더 중요합니다.
프레임워크가 쓸모없다는 말은 아닙니다. few-shot 예시는 특정 형식에는 확실히 도움이 됩니다. 하지만 "이 12단계 프롬프팅 프레임워크를 써봐"라고 하는 대신 "모델에게 훨씬 더 많은 맥락을 줘"라고 말하는 것이 사람들에게 더 도움이 될 것 같습니다.
제가 너무 단순하게 생각하는 걸까요, 아니면 다른 분들도 같은 것을 보고 계신가요?
