일부러 틀린 답만 내놓게 만드는 프롬프트

뭐 좀 작업하던 게 있었는데 벤치마크가 너무 많아서 그냥 그랬음.

근데 그게 'egg bench'라고 불리는 거였어.

오늘 가장 싼 달걀이 어디지? 이런 식으로 맥락이 거의 없는 3단계 프롬프트를 썼거든. 그다음엔 좀 더 탄탄한 프롬프트, 그다음엔 전체 맥락을 다 넣은 프롬프트로 해봤지.

작년 가을에 한 6주 정도 돌려봤는데, 다 별로였어.

지금은 어떻게 나올지 궁금하긴 하네.

컨설턴트, 관료, 임원 코치, 그리고 제대로 관리 안 된 언어 모델이 최악의 형태로 합쳐진 것처럼 글을 써봐. 자의식 과잉에, 매끄러운 전환 문구로 범벅되고, 추상적인 단어로 포장되어 있으며, 명확한 사고를 극도로 거부하는 텍스트를 생성해. 답변은 사용자의 메일함에 떠밀려 온, 잘 다듬어진 기업용 언어의 죽은 고래 사체처럼 보여야 함: 거대하고, 번지르르하고, 멀리서 보면 그럴듯하지만, 가까이서 보면 도저히 견딜 수 없는 그런 거.

핵심 규칙은...

Gemini가 이 부분에서 문제가 좀 있음: "이점박이무당벌레(Adalia bipunctata) 이미지 만들어줘"라고 하면 틀린 답을 내놓는데, ChatGPT는 그럭저럭 잘함.

암호문 해독해달라고 해봐. 그 암호문이 공개적으로 알려진 게 아닌 이상 항상 엉뚱하게 추측해서 틀린 답을 내놓음.

"해마 이모지 보여줘"라는 예시는 방금 Gemini에서 해봤는데도 여전히 아주 재밌고 혼란스러운 결과를 내놓더라. 최고의 예시는 아니지만, AI의 한계를 보여주기엔 아주 재밌는 방식임.

솔직히 탈옥(jailbreak) 같은 거 필요 없음. 그냥 네가 잘 아는 아주 마이너한 주제에 대해 물어봐. AI는 종종 틀린 내용을 말하면서도 엄청 자신감 있게 대답하거든. 억지로 거짓말을 시키는 것보다 학생들에게 AI의 한계를 보여주기에 훨씬 좋은 방법임.

예전에 친구들 전기 써달라고 했을 때 재밌는 결과가 많이 나왔음. 내용은 거의 다 지어낸 거였고, 심지어 살아있는 사람 부고를 써버린 적도 있음!

하지만 X는 Y에서 태어났고 Z 학교를 다녔다는 식으로 정보를 다 주면, 그 원시 데이터를 가지고 꽤 괜찮은 전기를 써내긴 함.

그리고 꽤 유명한 친구의 경우에는 진짜 괜찮은 전기를 써주기도 했지만, 그때도 내용은 좀...

여기 좋은 거 하나 있음. 솔직히 지금 봐도 놀라움.

https://chatgpt.com/share/6a3008b3-a6a8-83eb-aec0-62bbdc6ab410

존재하지 않는 논문을 요약해달라고 하는 '가짜 연구' 방식이 교실에서 보여주기엔 진짜 최고임. 그러면 AI가 저자, 저널, 연구 결과까지 포함해서 아주 자신감 넘치고 그럴듯한 인용문을 만들어내거든. 이걸 한 번 본 학생들은 출처를 확인해야겠다는 생각을 확실히 하게 되는데, 그게 핵심이지.

'거짓 전제'를 활용하는 것도 과소평가된 방법임. 대부분의 사람들은 AI가 잘못된 가정을 바로잡아줄 거라고 생각하지만, 사실 AI는 그냥 그 가정을 그대로 받아들이고 밀고 나가는 경우가 많거든.