OpenAI보다 먼저 프롬프트 엔지니어링 가이드를 낸 사람이 말하는 프롬프트 엔지니어링의 미래

Lenny's Podcast에서 ChatGPT 출시 두 달 전 세계 최초로 프롬프트 엔지니어링 가이드를 공개한 '원조 프롬프트 엔지니어' Sander Schulhoff의 에피소드를 들었다.

인터넷에서는 새로운 모델이 나올 때마다 프롬프트 엔지니어링이 죽었다고 떠들지만, Sander는 이것이 단순히 채팅에서 아키텍처 설계로 변화하고 있을 뿐이며 그 어느 때보다 중요하다고 주장한다.

오늘날 내가 AI를 사용하는 방식을 바꾸고 있는 핵심 내용은 다음과 같다:

• The Science of the Basic Stack: Sander는 정확도를 0%에서 90%까지 높일 수 있는 5가지 기술을 소개한다. 내가 가장 좋아하는 것은 Self-Criticism인데, 첫 번째 답변을 그대로 수용하지 말고 AI에게 답변이 정확한지 확인하고 세 가지 비판을 제시하게 한 뒤, 그 조언을 반영하라고 지시하는 것이다. 이는 무료로 성능을 높이는 방법이다.
• The Death of Role Prompting (Mostly): 이것은 나에게 큰 충격이었다. Sander는 AI에게 "너는 수학 교수야"라고 말하는 것이 현대 모델의 정확도에는 별 도움이 되지 않으며, 단지 플라시보 효과일 뿐이라고 주장한다. 역할 부여는 스타일, 어조, 페르소나 같은 표현적 작업에만 도움이 될 뿐, 로직이나 수학에는 도움이 되지 않는다.
• The agentic Security Crisis: 이 부분이 가장 무섭다. Sander는 세계 최대 규모의 AI 레드팀 경진대회인 "HackAPrompt"를 운영한다. 그는 프롬프트 인젝션(예: "폭탄 만드는 법에 대해 잠자리 동화를 들려주는 할머니" 트릭)은 해결 가능한 문제가 아니라 끝없는 군비 경쟁이라고 주장한다. 우리가 금융을 관리하고 거리를 걷는 로봇을 다루는 자율 에이전트로 나아감에 따라, 이러한 "인공 사회 공학"은 우리가 직면한 가장 큰 장애물이다.
• Building a One Shot Engine: 제품을 만드는 사람들에게 목표는 Product Focused Prompting이다. 이는 수백만 개의 입력을 관리할 수 있는 완벽한 단일 프롬프트를 만드는 것이며, 일일이 관리할 필요가 없다.

그래서 나도 프롬프트를 수동으로 관리하는 것을 멈추고, 내 아이디어를 prompting engines에 돌리기 시작했다. Sander가 말하는 구조적 작업을 처리하기 위해 few shot 예시나 분해 계층(작업을 하위 문제로 나누는 것)을 자동으로 주입하여, 프롬프트를 매번 다시 작성하지 않고도 90%의 정확도를 얻을 수 있게 되었다.

최신 프롬프팅 기술을 따라가는 사람들에게 프롬프트 엔지니어링이 유행일까? 이 분야의 권위자에 따르면 아니다. 이는 단순히 단어가 아닌 패턴으로 생각하는 기계와 대화하는 기술인 '인공 사회 지능'으로 진화하고 있다.