인간 개입(Human-in-the-Loop) 프롬프트 전략 해체: 상세 수준의 계층 구조

나는 지식 노동자의 업무를 자동화하기 위한 '인간 개입(Human-in-the-Loop)' 프롬프트 전략을 실험해 왔으며, 특히 반복적인 업무의 비효율성을 타겟으로 삼고 있음. 핵심 전제는 AI의 실행 속도를 활용하면서도 인간의 감독과 검증을 유지하는 것인데, 이는 AI 도입이 가속화됨에 따라 점점 더 중요해질 모델이라고 생각함.

내 연구 결과는 사용자 숙련도와 직접적으로 연관된 프롬프트 설계의 계층적 접근 방식을 가리키고 있음(최근 작성한 글에 자세히 나와 있음: [링크]). 이건 단순히 키워드를 추가하는 문제가 아니라, 상세 수준의 구조적 계층임.

Tier 1: 최소한의 맥락, 단일 작업에 초점을 맞춘 작업 중심 프롬프트. 예: "이 대본을 요약해." 모호함과 LLM의 가정에 의존하기 때문에 문제가 발생할 수 있음.

Tier 2: 역할극, 출력 형식 지정, 어조 지침을 포함. 예: "프로젝트 매니저로서 행동해. 이해관계자들에게 보낼 간결한 후속 이메일을 작성해..." 상당한 개선이 있지만, 여전히 일반적인 언어를 사용하거나 핵심적인 뉘앙스를 놓치기 쉬움.

Tier 3: 외부 데이터와 복잡한 검증 기준을 통합한 다단계 프롬프트 체인. 예: "이 대본을 분석해서 감정 변화를 파악하고, 상충하는 이해관계자의 요구사항을 식별해..." 시스템 프롬프트와 통합이 필요하지만 가장 강력한 결과를 제공함.

중요한 관찰은 세 단계 모두 프롬프트 반복이 필요하다는 점임. 나를 놀라게 한 것은 프롬프트에서 '좋은' 것을 명확하게 정의하는 것의 영향력이었음. "좋은 이메일을 써줘"와 같은 모호한 지시는 본질적으로 결함이 있음. 간결함, 격식, 타겟 독자 등 '좋은' 결과물의 원하는 속성을 구체적으로 명시해야 함.

더 나아가, 프롬프트 엔지니어링은 완벽한 프롬프트를 찾는 것이 아니라, 워크플로우와 함께 진화하는 적응형 프롬프트 시스템을 구축하는 것임. 다른 사람들도 비슷한 계층적 프롬프트 전략을 탐구해 본 적이 있는지, 그리고 어떤 도전이나 성공을 경험했는지 궁금함.