AI는 복잡한 질문은 잘 대답하면서 왜 기차 시간표 같은 건 제대로 못 할까?

• 딥러닝 AI의 25%는 알고리즘임.
• 딥러닝 AI의 75%는 학습 데이터임.

학습 데이터에 당신이 하려는 작업에 대한 예시가 충분히 포함되지 않은 것임.

그게 전부임.

하지만 말이 안 되는 제한 사항들이 있음. 그 웹사이트에 대한 더 일반적인 질문으로 다시 시도해 봤거든. 어제는 시간표를 찾을 수 있었는데 오늘은 안 됨. 둘 다 드롭다운 메뉴 뒤에 있는데도 말이야. 그게 짜증 나는 부분임.

왜 AI는 내가 전혀 모르는 난해한 새로운 주제에 대해서는 완벽하게 가르쳐주면서, 내가 조금이라도 아는 주제에 대해 물어보면 완전히 틀린 쓰레기 같은 소리를 지어내는 걸까??!

여기서 고려해야 할 몇 가지가 있다고 생각함.

첫째, 당신의 작업은 정확성 측면에서 꽤 까다로움. 특정 웹사이트를 사용해서 특정 날짜의 특정 기차를 찾아야 하니까. 틀린 정보 하나만 있어도 답변 전체가 쓸모없어짐.

둘째, 우리는 무슨 일이 일어났는지 당신의 버전만 듣고 있음. 실제 프롬프트, 입력값, 대화 기록은 보지 못했으니까.

GPT-5.6과 GPT-6을 써본 경험상, 뭔가 엄청나게 잘못됐을 때 내 프롬프트와 입력값을 다시 검토하는 법을 배웠음. 놀랍게도 내가 모호하게 적었거나, 정보를 불완전하게 제공했거나, 대화 초반에 오해를 불러일으켰다는 걸 발견할 때가 많음. 물론 모델이 그냥 실수할 때도 있지.

하지만 경험을 통해 배운 또 다른 중요한 문제가 있음: 웹사이트에서 당신 눈에 보이고 클릭할 수 있다고 해서 ChatGPT가 실제로 그걸 보고 상호작용할 수 있다는 뜻은 아님.

드롭다운 메뉴, 확장 가능한 섹션, 심지어 인간 방문자에게는 명확히 보이는 정보조차 AI의 브라우징 도구로는 접근할 수 없는 상황을 겪어봤음.

당신 같은 작업이라면, 나는 실제로 두 단계로 접근할 것임.

첫째, ChatGPT가 웹사이트에 실제로 접속해서 관련 요소와 상호작용할 수 있는지 확인하겠음. 그냥 할 수 있냐고 묻지 말고, 드롭다운 옵션을 읽고 정보를 가져올 수 있다는 걸 직접 보여달라고 하셈.

그런 다음 정답을 이미 알고 있는 기차와 날짜로 테스트를 해보셈. 웹사이트를 사용해서 그 결과를 정확하게 재현할 수 있는지 확인하는 거임.

전체 과정이 작동한다는 걸 확인한 후에야 실제 작업에 맡기겠음.

그럴듯하지만 틀린 답변이 아예 답변이 없는 것보다 더 나쁜 작업에서는 특히 중요함.

그러니 모델이 인간은 클릭 세 번 만에 끝낸 일을 실패했다고 결론짓기 전에, 실제로 그 세 번의 클릭에 접근할 수 있었는지, 워크플로우가 테스트되었는지, 어떤 지시를 받았는지 알고 싶음.

추론 실패, 도구 제한, 그리고 제대로 검증되지 않은 워크플로우 사이에는 상당한 차이가 있음.

기술적인 이유 때문임. LLM은 언어 모델인데 당신은 언어와 상관없는 문제를 던지고 있음. AI는 임의의 날짜나 숫자가 뭔지, 웹사이트에 어떻게 입력하는지 모름.