Fable이 100년 된 난제를 반증했을지도 모른다.

근데 이건 증명이 아니라 반례야. 그래서 이전 증명들보다 검증하기 훨씬 쉽지.

맞아. 그리고 확실히 맞아 보여.

나도 그렇게 했어. 오푸스나 더 멍청한 모델들도 확인할 수 있더라. 근데 수학 서브레딧 링크한 건 그쪽 사람들이 수학을 더 잘 이해하니까 그런 거지.

수학 서브레딧 확인할 필요 없음, 나에겐 Fable이 있으니까.

러다이트는 아니지만, LLM이 내놓은 중대한 주장을 보고 '이걸 제대로 이해하는 사람들 말은 들을 필요 없고, 그냥 <그 주장을 한 모델>한테 다시 물어볼래'라고 하는 건 이런 종류의 주장을 검증하는 아주 나쁜 방식임. 주장이 100% 맞는 것 같긴 한데, 만약 Fable이 hallucination을 일으켰거나 실수한 거라면, Fable한테 다시 물어봐도 똑같은 실수를 반복할 가능성이 매우 높음. 진짜, AI를...

이건 반례를 찾는 거라 논리적 증명에 허점이 있는지 확인하는 게 아님. 그냥 우리가 매일 AI한테 맡기는 계산을 검증할 간단한 스크립트만 있으면 됨.

농담이었음. 당연히 여기서 Claude를 믿으면 안 되지, 특히 자기가 낸 결과물이라는 걸 알고 있으니까. 최근에 이 효과를 정량화한 논문을 읽었는데, 모델들이 자기들이 만들었다고 주장하는 답변을 선호한다는 내용이었음. 사실 연구자들은 모델마다 똑같은 텍스트를 사용하고 출처만 바꾸는 건데도 말이야.