이번 주, AI의 조언을 따르던 등산객 3명이 구조되었습니다. 같은 날, OpenAI는 AGI 시대에 도달했다고 발표했죠. 이 두 가지 이야기를 함께 생각해보게 되네요.

9월 1일, 캘리포니아 출신 청년 3명이 샤스타 산 등반 경로를 짜려고 Gemini를 썼거든. 근데 AI가 그 정도 난이도 등반에 필요한 것보다 훨씬 적은 물이랑 음식을 챙기라고 알려준 거야. 결국 얘들은 예정보다 4시간이나 늦게 정상에 도착했고, 날이 저문 뒤에야 하산했어. 한 명은 무릎까지 다쳤고, 다음 날 구조될 때까지 협곡에 갇혀서 밤을 꼬박 새웠지.

구글은 Gemini가 왜 그런 엉터리 조언을 했는지 재현이 안 된다고 하네. 프롬프트를 개판으로 썼거나 모델이 너무 낙관적이었을 수도 있겠지. 근데 그게 중요한 게 아니야. 핵심은 이 세 사람이 AI 답변을 무슨 전문 산악 가이드 조언인 양 철석같이 믿었다는 거거든. 그리고 아무도 그러지 말라고 말려주지도 않았지. 이틀 뒤에 OpenAI가 GPT-6 Astra를 내놓으면서 AGI 시대가 열렸다고 선언했어. 벤치마크 점수는 확실히 지리긴 하더라. 독립 평가자들은 좀 더 신중한 편이라 Anthropic의 Fable 5.1을 종합 지표에서 더 높게 치기도 하지만, 성능이 비약적으로 발전한 건 부정할 수 없는 사실이야.

근데 내가 머릿속에서 떠나질 않는 게 하나 있어. 모델 성능이 좋아질수록 사람들은 더 중요하고 위험부담이 큰 상황에 AI를 갖다 쓰거든. 그런데 모델이 똑똑해진다고 해서 우리가 언제 얘를 믿고 언제 걸러야 할지 판단하는 능력까지 같이 좋아지는 건 아니야. 오히려 답변이 더 그럴싸하게 나오니까 상황은 더 나빠질 수도 있지.

나도 그동안 여러 기업들 AI 도입하는 거 도와주면서 느낀 건데, 가장 흔한 문제는 사람들이 AI를 너무 안 믿어서가 아니야. 언제 믿음을 멈춰야 할지 그 선을 모른다는 게 문제지.

너는 더 강력한 모델이 나올수록 이 문제를 해결하기가 더 쉬워질 것 같냐, 아니면 더 어려워질 것 같냐?