Claude를 환자 진료에 활용한 최초의 무작위 대조 시험: 신경외과 환자 300명 대상, NEJM AI 이번 달 게재
To my knowledge the first published randomised controlled trial with Claude as the intervention in patient care. 300 neurosurgical patients, NEJM AI, published this month.
핵심 요약
신경외과 진료 시 Claude로 생성한 쉬운 용어의 진료 요약본을 환자에게 제공하여 진료 효율과 환자 만족도를 높인 연구 결과입니다.
- 진료 효율성 — 환자에게 쉬운 요약본을 제공하여 진료 시간이 평균 8분 단축됨
- 환자 만족도 — 환자가 진료 과정에 더 깊이 참여하고 의사결정에 주도적으로 참여함
- 검증 프로세스 — 4개의 LLM 판정과 의사의 이중 검토를 통해 오류 없는 요약본 생성
- 의료진의 변화 — 환자가 준비된 상태로 진료에 임해 의사에게는 더 높은 수준의 대응이 요구됨
독일에서 신경외과 전문의로 일하는 시니어 저자다. 우리가 뭘 했는지, 그리고 Claude가 거기서 어떤 역할을 했는지 짧게 요약해 준다.
환자들이 신경외과 첫 진료를 보러 올 때 보통 MRI 결과지나 퇴원 요약지를 들고 오는데, 이게 뭔 소린지 하나도 모른다. 그래서 환자 300명을 무작위로 나눴다. 절반은 진료 전에 자기 진료 기록을 쉬운 언어로 풀어서 줬고, 나머지 절반은 그냥 평소대로 진료했다. 요약본은 Claude 3.7 Sonnet API를 써서 만들었고, temperature 0, max 1000 tokens로 설정했다. 프롬프트는 첫 환자 받기 전에 버전 28로 고정했다. 목표는 독일어 B1 수준으로 읽기 쉽게 만드는 거였다.
여기가 너희들이 제일 궁금해할 퀄리티 검증 부분이다. 요약본 하나하나마다 다른 모델 계열인 OpenAI o1을 포함한 LLM 심사위원 4명이 동시에 붙어서 0점에서 10점까지 점수를 매겼고, 7점 미만이면 다시 생성하게 했다. 그다음엔 의사가 고정 체크리스트를 들고 모든 요약본을 원문이랑 대조했고, 무작위로 뽑은 절반은 다른 의사가 블라인드 테스트로 한 번 더 검수했다. 전체 임상 결과, 재생성 횟수 0번, 사실 관계 오류 0건, 유해한 내용 0건, 환자 전달 전 수정 사항 0건이었다. 평가자 간 신뢰도(ICC)는 0.74가 나왔다.
임상 결과:
환자들은 의사와의 소통이 더 좋아졌다고 평가했는데, 특히 공동 의사결정 부분에서 만족도가 높았다. 진료 시간은 중앙값 기준으로 33분에서 25분으로 8분 줄었다. 재밌는 건 의사 쪽 반응이다. 우리 스스로가 느끼기에 자율성 지지는 약간 낮아졌고, 진료가 좀 더 빡세졌다고 느꼈다. 환자들이 준비를 해오니까 질문 수준이 확 올라가더라.
한계점:
단일 센터 연구고, 블라인드 테스트가 아니며, 임상적 예후는 다루지 않았고, 독일어 사용자만 대상으로 했다. 개념 증명 단계일 뿐, 당장 진료 현장을 뒤집을 만한 건 아니다. 원래 프로토콜에는 Claude 3.5라고 적어놨는데, 모집 시작 전에 3.7로 바꿨고 그 기록도 다 남겨놔서 임상 중에 모델 드리프트는 없었다.
논문 https://doi.org/10.1056/AIoa2600136
프롬프트 설계나, 왜 temperature를 0으로 뒀는지, 왜 생성 모델이랑 다른 계열의 모델을 심사위원으로 썼는지 같은 거 궁금하면 물어봐라. 다 답해준다.
