공지: 일정 길이 이상의 PDF를 ChatGPT에 업로드하면 읽는 게 아니라 검색을 수행하며, 어떤 방식을 썼는지 알려주지 않음
PSA: past a certain length, ChatGPT doesn't read your PDF, it searches it, and never tells you which one happened
핵심 요약
ChatGPT는 긴 문서를 전체 읽기 대신 검색 방식으로 처리하므로, 정확한 분석을 위해 섹션별로 나누어 질문하거나 구체적인 인용을 요구해야 합니다.
- 처리 방식의 한계 — 긴 문서는 전체를 읽지 않고 검색 인덱스를 활용함
- 효율적인 질문법 — 전체 요약보다는 섹션별로 나누어 질문하는 것이 정확함
- 검증 전략 — 요약본보다는 정확한 인용구와 페이지 번호를 요구하여 확인함
- 파일 형식 권장 — PDF보다는 텍스트나 마크다운 형식이 데이터 처리에 유리함
짧은 파일 올리면 챗GPT가 다 읽어주는데, 긴 파일이나 계약서, 논문, 200페이지짜리 보고서 같은 거 올리면 대부분 검색 인덱스로 들어가 버림. 질문에 들어간 단어랑 매칭되는 조각들만 골라서 답변을 만드는 거지.
근데 인터페이스 어디를 봐도 둘 중 어떤 방식으로 처리됐는지 안 알려줌. 답변은 둘 다 똑같이 자신만만하게 나오거든.
긴 계약서 요약해달라고 했다가 알게 된 사실임. 요약본은 깔끔하게 나왔는데, 정작 내가 필요했던 마지막 부분의 조항은 쏙 빠져 있더라고. "이거 요약해줘"라고만 하니까 검색 기능이 그 조항을 못 찾은 거임. 그래서 그 조항 이름을 직접 대면서 물어보니까 바로 찾아내더라.
팁 좀 주자면:
-
전체를 다 요약하라고 하지 말고, 섹션 이름이나 페이지를 콕 집어서 물어봐. "섹션 9에서 해지 관련 내용이 뭐야?"라고 하면 제대로 된 조각을 가져옴. "이거 요약해줘"라고 하면 그냥 지 맘대로 랭킹 높은 거 가져오는 거임.
-
긴 파일 제대로 요약하고 싶으면 섹션별로 나눠서 시켜. "1페이지부터 20페이지까지 요약해줘" 이런 식으로. 메시지는 좀 더 많이 보내야겠지만, 그래야 내용 전체를 다 읽음.
-
뭘 안 읽었는지 물어봐: "이 답변 만들 때 파일의 어떤 섹션을 안 썼어?"라고 물어보면 꽤 솔직하게 대답함.
-
전체 내용을 다 읽어야 하는 상황이면 업로드하기 전에 파일을 쪼개. 긴 파일 하나보다 짧은 파일 여러 개가 훨씬 더 꼼꼼하게 읽힘.
세 줄 요약: 짧은 파일은 읽고, 긴 파일은 검색한다. 검색으로 답할 수 있는 질문을 던져라.
참고로 난 챗GPT에 검색, 폴더, 내보내기 기능을 추가해주는 크롬 확장 프로그램 'AI Toolbox'를 만들고 있음. 내 툴은 내 채팅 기록을 검색하는 거지 업로드된 파일을 검색하는 게 아니라서, 이건 순수하게 챗GPT 자체 기능에서 발생하는 문제임.
다들 챗GPT 요약 믿고 맡겨본 파일 중에 제일 긴 게 뭐야?
