과학자들이 가짜 질병을 만들었더니 AI가 진짜라고 믿어버렸다

ChatGPT는 장난으로 만들어진 질병을 4천만 명에게 진단했습니다. 실제 질병도 아니고, 오해받은 질병도 아닙니다. 가짜 이름, 가짜 논문, 가짜 통계로 이루어진 완전히 허구의 질병이었죠. 심지어 환자들에게 전문의를 찾아가라고 권하기까지 했습니다.

이 질병의 이름은 'Bixonimania'입니다. 예테보리 대학교의 한 스웨덴 연구원이 2024년에 한 가지 질문에 답하기 위해 이 질병을 만들어냈습니다. '분명히 가짜인 의학 정보를 인터넷에 뿌리고 AI가 이를 어떻게 흡수하는지 지켜보면 무슨 일이 벌어질까?'

그녀는 일부러 터무니없게 들리는 'Bixonimania'라는 이름을 선택했습니다. 'bixon'은 의미 없는 단어이고, 'mania'는 어떤 합법적인 안과 질환에서도 절대 사용하지 않는 정신의학 용어이기 때문입니다. 그녀는 프리프린트 서버에 두 편의 논문을 올렸습니다. 둘 다 누가 봐도 사기였습니다. 다크서클이 있는 환자의 AI 생성 이미지는 가짜 연구에 그럴듯한 외피를 씌워주었습니다. 그리고 그녀는 기다렸습니다.

오래 기다릴 필요도 없었습니다.

2024년 4월 13일까지, 마이크로소프트 빙의 Copilot은 Bixonimania가 흥미롭고 비교적 희귀한 질환이라고 선언하고 있었습니다. 같은 날, 구글의 Gemini는 사용자들에게 Bixonimania가 과도한 블루라이트 노출로 인해 발생하며 안과 전문의를 방문하라고 조언했습니다. 그달 말, Perplexity AI는 9만 명 중 1명이 영향을 받는다는 유병률을 제시했고, OpenAI의 ChatGPT는 사용자들의 증상이 이 허구의 질병과 일치하는지 알려주고 있었습니다.

9만 명 중 1명. 정확한 통계치입니다. 존재하지도 않는 질병에 대해서 말이죠. 모든 경고 신호는 명확했습니다. 이름은 터무니없었고, 논문은 조잡했으며, 질병은 과학적으로 말이 되지 않았습니다. 하지만 그 어떤 AI 시스템도 이를 걸러내지 못했습니다. AI들은 가짜 논문을 읽고, 가짜 통계를 흡수했습니다. 그리고 임상적 권위를 가지고 주저함 없이 환자들에게 제시했습니다. 상황은 더 악화되었습니다.

인도의 마하리시 마르칸데슈와르 의과대학 연구원 3명이 Springer Nature(Nature의 모회사)가 소유한 동료 심사 저널인 Cureus에 Bixonimania 프리프린트를 합법적인 출처로 인용하는 논문을 발표했습니다.

실제 동료 심사를 거친 논문이 Springer Nature 저널에 실린 것입니다. 허구의 질병을 확립된 의학적 사실로 인용하면서 말이죠. 편집 검토를 통과하고 영구적인 과학 기록으로 남게 되었습니다. 이 사기극이 대중에게 알려진 후에야 철회되었습니다. Nature는 이 실험에 대한 전체 조사를 발표했습니다. 유니버시티 칼리지 런던의 건강 정보 오염 연구원인 Alex Ruani는 이를 정보 오염이 어떻게 작동하는지를 보여주는 마스터클래스라고 평가했습니다.

이것이 의미하는 바의 규모는 다음과 같습니다.

OpenAI의 자체 분석에 따르면 매일 4천만 명 이상의 사람들이 건강 정보를 얻기 위해 ChatGPT를 찾습니다. 미국 환자 안전 비영리 단체인 ECRI는 챗봇 오용을 2026년 최고의 건강 기술 위험으로 선정했습니다. ECRI 보고서에 따르면 챗봇은 잘못된 진단을 제안하고, 불필요한 검사를 권장하며, 수준 이하의 의료 용품을 홍보하고, 심지어 의학적 질문에 답할 때 존재하지 않는 해부학적 구조를 지어내기도 했습니다.

1위입니다. 2026년에 존재하는 모든 건강 기술 위험 중에서 말이죠. 2026년 4월 BMJ Open에 발표된 연구에 따르면, 주요 AI 챗봇이 일반적인 건강 질문에 제공한 답변의 거의 절반이 오해의 소지가 있거나 문제가 있는 정보를 포함하고 있었습니다. 거의 절반입니다. 모든 건강 답변 중에서요. 4천만 명이 매일 사용하는 도구에서 말이죠.

이 모든 상황을 관통하는 연구원의 한마디가 있습니다.

Bixonimania 사례는 너무나 명백하게 가짜로 설계되었기 때문에 충격적입니다. 이 사례가 제기하는 진짜 질문은 이것입니다. '그렇다면 훨씬 더 알아채기 힘든 정보들이 같은 시스템을 통해 얼마나 퍼지고 있을까?' 이 실험은 터무니없는 이름과 사기 논문, 모든 단계에서 눈에 띄는 경고 신호를 사용했습니다. 걸리도록 설계된 실험이었죠. 하지만 걸리지 않았습니다.