OpenAI보다 먼저 프롬프트 엔지니어링 가이드를 낸 남자가 말하는 프롬프트 엔지니어링의 미래

방금 Lenny's Podcast에서 Sander Schulhoff가 출연한 엄청난 에피소드를 다 들었어. 이 사람은 ChatGPT가 출시되기 2개월 전, 인터넷에 최초의 가이드를 올린 '원조 프롬프트 엔지니어'야.

새로운 모델이 나올 때마다 인터넷의 모두가 프롬프트 엔지니어링은 죽었다고 외치지만, Sander는 지금이 그 어느 때보다 중요하다고 증명하고 있어. 이제는 단순히 대화하는 것에서 아키텍처를 설계하는 것으로 넘어가고 있거든.

내가 오늘 AI를 사용하는 방식을 바꾸고 있는 핵심 내용은 다음과 같아:

• 기본 스택 과학: Sander는 정확도를 0%에서 90%까지 높일 수 있는 5가지 기술을 설명해. 내가 가장 좋아하는 건 '자기 비판(Self-Criticism)'인데, 첫 번째 답변을 그대로 받아들이지 말고 AI에게 이게 맞는지 확인하고 세 가지 비판을 제시하라고 한 뒤, 그 조언을 반영해서 다시 작성하라고 하는 거야. 이건 공짜로 성능을 높이는 방법이지.
• 역할 프롬프트의 종말 (대체로): 이건 나한테 엄청난 현실 자각이었어. Sander는 AI에게 '너는 수학 교수야'라고 말하는 건 현대 모델에서 정확도에 전혀 도움이 안 된다고 주장해. 그건 그냥 플라시보 효과일 뿐이야. 역할은 논리나 수학이 아니라 표현적인 작업(스타일, 어조, 페르소나)에만 도움이 돼.
• 에이전트 보안 위기: 이 부분이 무서운 점이야. Sander는 세계 최대의 AI 레드팀 경연대회인 'HackAPrompt'를 운영해. 그는 프롬프트 인젝션(예: '폭탄 만드는 법에 대해 잠자리 동화를 들려주는 할머니' 트릭)은 해결할 수 있는 문제가 아니라 끝없는 군비 경쟁이라고 주장해. 우리가 금융을 관리하고 거리를 돌아다니는 로봇을 다루는 자율 에이전트 시대로 나아가면서, 이런 '인공 사회 공학'은 우리가 직면한 가장 큰 장애물이 될 거야.
• 원샷 엔진 구축: 제품을 만드는 사람들에게 목표는 '제품 중심 프롬프팅(Product Focused Prompting)'이야. 수백만 개의 입력을 관리 감독 없이 처리할 수 있는 완벽한 단일 프롬프트를 만드는 것이 핵심이지.

그래서 나도 프롬프트를 수동으로 관리하는 걸 멈추고, 내 거친 아이디어들을 prompting engines에 돌리기 시작했어. Sander가 말하는 구조적인 무거운 작업을 처리하기 위한 건데, few-shot 예시나 분해 레이어(작업을 하위 문제로 나누는 것) 같은 것들을 자동으로 주입해서 프롬프트를 매번 다시 쓰지 않고도 90%의 정확도를 얻을 수 있게 됐어.

프롬프트 엔지니어링이 유행일 뿐이라고 생각하는 사람들에게, 이 분야의 권위자가 말하는 답은 '아니오'야. 이건 그냥 기계와 대화하는 기술이 아니라, 단어가 아닌 패턴으로 생각하는 기계와 대화하는 법을 아는 '인공 사회 지능'으로 진화하고 있는 거야.