프롬프트 엔지니어링은 여전히 유효한가, 아니면 죽었는가?

'실수하지 마라'라거나 '너는 신 같은 코더다' 같은 문구가 오히려 성능을 떨어뜨린다는 연구 결과도 이미 나와 있음.

원래 역할 부여는 모델에서 잠재된 마법 같은 능력을 끌어내려고 속임수를 쓰는 용도가 아니었음. 말 그대로 문맥을 제공하려는 의도였지. '너는 10년 경력의 동양 철학 전문가야'라고 말하는 건 문맥 개발에 대한 완전한 오해임. 하지만 모델에서 올바른 정보를 유도하기 위해 충분한 문맥을 제공하고 싶어 했고, 잘 작성된 문장들은 실제로 모델이 생성하길 의도한 출력 유형을 좁혀주긴 했음. 만약 동양 철학 교수가 쓴 것 같은 답변을 원한다면, 모델에게 어떤 역할을 맡을지 알려주는 게 대마초 브라우니 먹고 ChatGPT랑 어설프게 대화하는 것과는 다른 글을 만들어낼 수 있었음.

좋은 프롬프트는 기술 문서에 더 가깝다. 프롬프트가 좋을수록 예상되는 결과물과 더 비슷해진다.

이게 바로 내 프롬프트가 미리 작성된 지침들로 구성된 이유임. 고성능 추론 에이전트가 점점 더 구체적이고 상세한 계획 문서들을 단계적으로 작성하게 만들어서, 마지막 문서에 도달할 때쯤엔 저성능 에이전트한테 한 줄씩 구현하라고 넘겨줄 수 있는 작업 계획서가 완성되도록 하는 거지.

내가 딱 느끼고 있던 변화가 바로 그거임. 항공사 예시를 드니까 확실히 와닿네. 지금 보면 항상 틀렸다고 느껴지는 부분은 불필요한 미사여구임. 깔끔한 스키마랑 모델이 추측할 때 어떻게 해야 하는지에 대한 단호한 규칙이 그 어떤 감언이설보다 나음. 나도 아직 작은 에이전트를 다루고 있지만, 이제는 작업 설명보다 실패 규칙을 먼저 작성하기 시작했음. 모델한테는 목표를 아는 것보다 경계를 아는 게 더 중요하니까 👍

그리고 이런 글들 대부분은 웜업 봇들이 쓴 거임

애초에 이걸 왜 '엔지니어링'이라고 불렀는지 모르겠음 ㅋㅋ

프롬프트 엔지니어링은 죽지 않았음. 요즘 사람들은 AI 시스템 구축에 중요한 다른 것들이 많기 때문에 이를 덜 중요하게 여기는 것뿐임.

프롬프트는 매우 중요함. 에이전트 AI와 함께 일하면서 매일 느끼는 건데, 지시가 명확하지 않거나 프롬프트가 모호하면 시스템이 같은 시나리오에서도 사용자마다 다른 응답을 내놓음. 그래서 가드레일, 프롬프트 엔지니어링 같은 것들이 다 중요함.