GenAI는 이런 작업에 쓸모가 없는 건가요, 아니면 제 프롬프트가 문제인가요?
Is GenAI useless with this kind of tasks or is it my prompt?
핵심 요약
반복적인 정밀 작업에서 AI의 잦은 환각과 오류로 인해 수동 작업보다 효율이 떨어지는 상황에 대한 고민.
- 반복 작업의 한계 — AI가 단순 반복적인 링크 검색에서 잦은 환각과 부정확한 결과를 보여줌.
- 프롬프트 최적화 시도 — 구체적인 지시와 배치 처리를 시도했으나 여전히 수동 작업보다 시간이 더 걸림.
- 구조적 환각 문제 — LLM은 실시간 브라우징이 아닌 토큰 예측을 수행하므로 정밀한 검색에 취약함.
- 에이전트 활용 제안 — 실제 API를 호출하는 에이전트를 사용해야 정확한 검색 결과를 얻을 수 있음.
노래 목록이 있는데, 그 노래들의 유튜브 노래방 영상 링크가 필요했어요. 파티를 준비 중이거든요. 충분히 간단한 작업이죠.
프롬프트를 어떻게 작성하든, 제미나이(심지어 더 발전된 '사고' 모델을 사용했음에도)는 최소 30% 이상의 작동하지 않는 유튜브 링크를 포함하거나, 목록에 없는 다른 노래의 노래방 영상 링크, 혹은 원곡 뮤직비디오 링크 등을 제공했어요. 다운로드할 csv 파일을 만들게 했을 때는 다운로드 링크가 대부분 작동하지 않았고요. 결국 그냥 채팅창에 링크를 올려달라고 요청했고, 20곡씩 나누어 처리했는데 시간이 엄청나게 걸렸습니다.
제 질문은 이겁니다: GenAI가 정밀함이 요구되면서도 반복적인 이런 유형의 작업에 그냥 서툰 건가요, 아니면 제 프롬프트가 나쁜 건가요?
제가 처음에 시도했던 프롬프트는 다음과 같습니다.
"이 표를 참고해 주세요. (첨부된 엑셀 문서) 첫 번째 열에는 아티스트 이름이 있고, 두 번째 열에는 노래 제목이 있습니다. 이 노래들의 노래방 버전 유튜브 영상 링크가 포함된 세 번째 열을 추가해 주세요. 즉, 화면에 반주와 가사가 나오는 영상이어야 합니다.
이를 위해 각 노래에 대해 유튜브 영상을 검색하고 검색어에 'karaoke'를 추가해 주세요. 광고와 스폰서 결과는 무시하고 상위 3개 결과 중 하나, 즉 평점/조회수가 가장 높은 링크를 복사하세요.
만약 일부 노래의 노래방 버전을 찾을 수 없다면, 별도의 목록으로 표시해 주세요."
결국 저는 다음 프롬프트를 사용하여 20곡씩 나누어 작업을 마쳤습니다:
"다음 노래들의 노래방 버전 유튜브 링크 목록을 만들어 주세요. 모든 링크가 정확한지 다시 확인하세요. 링크를 임베드할 필요는 없고, 브라우저에서 링크를 복사해서 붙여넣기만 하세요. 유튜브 채널 KaraFun과 SingKing의 노래방 영상을 우선적으로 선택하세요."
이런 문제 해결 과정, 프롬프트 실험, 링크 재확인 등은 직접 수동으로 하는 것보다 시간이 더 걸렸습니다. 그러니 제발 제가 뭘 잘못하고 있는지 알려주세요. 이런 지루한 작업에서 시간을 아끼려고 AI를 사용하고 싶은데 말이죠. 제가 너무 많은 것을 기대하는 걸까요? 환각이 너무 심한 건가요?
