r/AI_Agents•5개월 전•13•19

환각(hallucination)에 대한 정의가 제각각이라 AI PoC가 엉망이 되었습니다

Nobody agrees on what "hallucination" means and it's hit our AI PoC

핵심 요약

AI PoC 과정에서 '환각'에 대한 정의가 이해관계자마다 달라 발생한 혼란과, 이를 해결하기 위한 공통된 평가 기준 수립의 중요성을 다룹니다.

환각 정의의 모호성 — 이해관계자마다 환각을 다르게 정의하여 PoC 평가 과정에서 불필요한 혼란이 발생함.
평가 기준의 정렬 — UAT 시작 전 평가 지표에 대한 명확한 합의가 없으면 정확도 점수는 무의미해짐.
오류 유형의 세분화 — 환각을 단순히 뭉뚱그리지 말고 데이터 조작, 문맥 이탈, 논리 오류 등으로 구분해야 함.
규제 도메인의 평가 — 의료 등 규제가 엄격한 분야일수록 공통된 운영 정의를 수립하는 것이 필수적임.

CMO와 팀을 대상으로 120개 질문에 대한 UAT를 마쳤습니다. 여기서부터 웃긴 상황이 벌어집니다. 팀원 중 한 명에 따르면 우리는 99%의 정확도와 답변 완성도를 기록했습니다. 그런데 CMO는 답변 다수를 환각으로 표시했습니다.

우리는 표시된 모든 답변을 뽑아 소스 문서까지 추적했습니다. 참고로 우리는 에이전트 접지(grounding)에 신경 기호적(neuro-symbolic) 접근 방식을 사용합니다.

조작은 0건이었고 모든 답변은 우리가 수집한 실제 임상 지침에 근거했습니다. 실제로 표시된 내용은 다음과 같습니다:

답변에 "physician"이 사용되었는데 조직은 "provider"라고 함. 그리고 검토자가 업로드된 줄 몰랐던 문서에서 소스를 가져옴.
CMO의 환각 정의: AI가 소스에 없는 내용을 지어냄. 우리의 정의: AI가 지식 베이스 대신 오픈 인터넷을 참조함. 이 둘이 같지 않다는 것을 어렵게 깨달았습니다.
그리고 세 번째 정의가 따로 나왔습니다: 유효한 소스 문서를 사용했지만 잘못된 답변을 제공함. 이건 앞의 두 정의 중 어디에도 해당하지 않습니다.

결국 CMO와 함께 각 답변의 출처를 확인하며 "환각" 문제를 해결했습니다. 하지만 이 과정을 통해 우리가 당연하게 여겼던 사실을 깨달았습니다. UAT 시작 전 무엇을 측정할지 정렬하지 않으면 정확도 점수는 아무 의미가 없습니다.

훨씬 일찍 잡혔어야 할 문제들에 대해 통과/실패 판정이 엇갈리게 됩니다.

이건 의료 분야에만 국한되지 않습니다. 규제 도메인을 위한 평가 파이프라인을 구축하는 사람이라면 누구나 겪게 될 일입니다. 용어는 인터넷의 무작위 기사가 아니라 공유된 정의에서 나와야 합니다.

원문

커뮤니티 목록

r/AI_Agents•5개월 전•13•19

환각(hallucination)에 대한 정의가 제각각이라 AI PoC가 엉망이 되었습니다

Nobody agrees on what "hallucination" means and it's hit our AI PoC

핵심 요약

AI PoC 과정에서 '환각'에 대한 정의가 이해관계자마다 달라 발생한 혼란과, 이를 해결하기 위한 공통된 평가 기준 수립의 중요성을 다룹니다.

환각 정의의 모호성 — 이해관계자마다 환각을 다르게 정의하여 PoC 평가 과정에서 불필요한 혼란이 발생함.
평가 기준의 정렬 — UAT 시작 전 평가 지표에 대한 명확한 합의가 없으면 정확도 점수는 무의미해짐.
오류 유형의 세분화 — 환각을 단순히 뭉뚱그리지 말고 데이터 조작, 문맥 이탈, 논리 오류 등으로 구분해야 함.
규제 도메인의 평가 — 의료 등 규제가 엄격한 분야일수록 공통된 운영 정의를 수립하는 것이 필수적임.

조작은 0건이었고 모든 답변은 우리가 수집한 실제 임상 지침에 근거했습니다. 실제로 표시된 내용은 다음과 같습니다:

답변에 "physician"이 사용되었는데 조직은 "provider"라고 함. 그리고 검토자가 업로드된 줄 몰랐던 문서에서 소스를 가져옴.
CMO의 환각 정의: AI가 소스에 없는 내용을 지어냄. 우리의 정의: AI가 지식 베이스 대신 오픈 인터넷을 참조함. 이 둘이 같지 않다는 것을 어렵게 깨달았습니다.
그리고 세 번째 정의가 따로 나왔습니다: 유효한 소스 문서를 사용했지만 잘못된 답변을 제공함. 이건 앞의 두 정의 중 어디에도 해당하지 않습니다.

훨씬 일찍 잡혔어야 할 문제들에 대해 통과/실패 판정이 엇갈리게 됩니다.

주요 댓글

r/ai_agents

hallucination이라는 용어를 하나로 퉁치지 말고, 실패 유형별로 세분화하여 평가 기준을 사전에 정의해야 한다는 의견이 지배적입니다.

너는 지금 한 단어로 세 가지 다른 실패 유형을 설명한 건데, 그게 문제의 핵심임. CMO가 말한 건 fabrication(조작)이고, 너희 팀이 말한 건 Context Drift(맥락 이탈)임. 세 번째는 Selective Response(선택적 응답)라고 부름. UAT 전에 이 기준들을 구분 안 해두면 accuracy 점수는 아무 의미 없음.

ㄹㅇ 이거임. 용어랑 언어를 명확하게 정의하는 게 모든 일의 핵심이지.

규제 환경에서 평가 기준에 대한 공통된 운영 정의가 필요한 이유가 바로 이거임. 안 그러면 팩트 조작, 검색 범위 위반, 용어 불일치, 추론 오류를 다 한데 섞어서 부르게 됨. 그럼 점수가 아무 쓸모가 없어짐.

정확함. 순서도 중요함. UAT 다 끝나고 나서가 아니라, 평가 항목 만들기 전에 카테고리부터 정의해야 함. 다 끝난 뒤에 정의를 끼워 맞추는 건 비행기 다 뜨고 나서 계기판 보정하는 거랑 똑같음.

hallucination은 한 단어 안에 세 가지 문제가 섞여 있음: (1) 검증 가능한 사실에 대해 자신 있게 틀림, (2) 존재하지 않는 URL/인용/라이브러리 같은 걸 지어냄, (3) 논리 단계는 그럴듯해 보이지만 결론이 틀림. 각각 해결책이 다름(1은 RAG, 2는 스키마 제약, 3은 자기 비판). PoC가 힘든 건 팀들이 이걸 다 하나의 버그로 취급해서 그럼.

대체로 맞는데, 이게 만능 해결책은 아님. 모델마다 프롬프트의 단어 하나에 따라 완전히 다르게 반응하고, 문서가 어떻게 입력되는지 생각해보면 그것들도 프롬프트의 일부일 뿐임. 컨텍스트가 길어질수록 더 심해짐. 검증 가능한 사실조차도 까다로움. can, should, must 같은 걸 다 검증해야 하는데, 모델한테 결정하라고 맡기면 모델이 결정해버리고, 우리는 그 결정에 불평할 수도 없음.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

의미가 불분명해진 이유는 원래 뜻이 사라졌기 때문임. 초기 언어 모델들은 심각한 환각 증상을 겪는 사람이 할 법한 횡설수설을 했거든. 대부분의 사람들은 진짜 hallucination을 본 적이 없음. 거짓말을 하는 건 사람이랑 똑같아서 엄청나게 어려운 문제임.

hallucination을 UAT 전에 쪼개야 하는 이유가 바로 이거임. 한 단어가 너무 많은 실패 유형을 덮고 있음. (1) 출처 없이 지어낸 답, (2) 허용된 범위 밖에서 가져온 답, (3) 유효한 출처를 잘못 사용함, (4) 비즈니스 용어 불일치, (5) 리뷰어가 모르는 문서에 근거함. 이건 다 다른 버그임. 해결책도 다 달라야 함. 테스트 전에 실패 라벨을 정의하고 각각 점수를 매기는 게 유용함.

맞음. 우리가 찾은 적절한 지표는 이거임: - Traceability(추적 가능성): 답을 위해 올바른 소스 문서를 활용했나 - Answer Completeness(답변 완결성): 문서를 제대로 활용해서 답을 구성했나 - Signal Clarity(신호 명확성): 노이즈는 무시하고 답에 필요한 부분만 썼나. AI/ML 엔지니어한테 설명하긴 쉬운데, CMO한테 설명하는 게 재밌었음.

원문r/AI_Agents