r/LocalLLaMA•5개월 전•37•15
[MIT] RLCR: AI 모델에게 "잘 모르겠어요"라고 말하는 법을 가르치다
[MIT] RLCR: Teaching AI models to say "I'm not sure"
핵심 요약
MIT 연구진이 AI 모델의 근거 없는 자신감을 해결하고 정확도를 유지하며 불확실성을 표현하게 하는 RLCR 기법을 개발함.
- AI 과신 문제 — 최신 추론 모델들이 정답 여부와 상관없이 항상 확신에 찬 답변을 내놓는 현상을 지적함.
- MIT RLCR 기법 — 모델 학습 과정의 결함을 수정하여 정확도 손실 없이 불확실성을 인지하고 표현하도록 개선함.
자신감은 설득력이 있습니다. 하지만 AI 시스템에서는 종종 오해를 불러일으킵니다.
오늘날 가장 뛰어난 추론 모델들은 방 안에서 가장 큰 목소리를 내는 사람과 같은 특징을 공유합니다. 그들은 정답을 말하든 추측을 하든 상관없이 모든 답변을 똑같이 흔들림 없는 확신으로 전달합니다. MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)의 연구원들은 이러한 과신 현상이 모델이 학습되는 방식의 특정 결함에서 비롯된다는 것을 밝혀냈으며, 정확도를 전혀 희생하지 않고도 이를 해결하는 방법을 개발했습니다.
