프롬프트를 생각할 때, 저는 이런 문제를 해결하기 위해 제가 해야 할 진술을 떠올립니다. 동의하시는 분 계신가요?
When I think of a prompt, I think of the statement I need to make to solve a problem like this. Anyone agree?
핵심 요약
LLM의 환각 현상을 모델의 제약 조건 해결 과정으로 재해석하며, 데이터 밀도와 형식 제약의 충돌을 분석합니다.
- 환각의 재정의 — 모델이 오류를 범하는 것이 아니라 주어진 제약 조건을 성공적으로 해결하는 과정임
- 클러스터 밀도 — 학습 데이터 내 특정 정보의 밀도가 낮을 때 모델은 형식적 제약에 의존함
- 제약 조건 충돌 — 정확성 신호보다 '답변해야 한다'는 압박과 형식 준수가 우선시되어 환각 발생
- 개선 방향 — 모델의 기억력을 높이는 대신, 낮은 밀도의 정보를 출력 상태로 허용하는 제약 강화가 필요함
환각은 오작동이 아니다. 이는 콘텐츠별 클러스터 밀도가 너무 낮아 형식 제약과 경쟁할 수 없는 상황에서 발생하는 올바른 제약 조건 해결 과정이다.
일반적인 인용의 경우: 높은 클러스터 밀도는 올바른 저자, 제목, 연도, 저널이 많은 맥락에 걸쳐 강력하게 상호 연관되어 있음을 의미한다. 확률 분포에는 안정적인 끌개가 존재한다. 출력은 실제 존재하는 무언가로 수렴한다.
모호한 인용의 경우: 낮은 클러스터 밀도는 특정 콘텐츠에 대해 안정적인 끌개가 존재하지 않음을 의미한다. 하지만 '인용 요청에는 인용으로 답한다'는 형식 제약은 여전히 완전히 활성화되어 있다. 따라서 모델은 자신이 강력하게 충족할 수 있는 것, 즉 형식으로 해결책을 유도한다. 구조는 정확하지만 내용은 조작된 것이다. 완전성에 대한 압박이 클러스터 지원을 받기 때문에 승리하고, 특정 콘텐츠는 그렇지 못하다.
이는 환각 발생률이 소스가 훈련 데이터에 얼마나 밀도 있게 표현되었는지와 대략 반비례해야 함을 의미한다. 이는 CGT(Constraint-based Generative Theory)가 자연스럽게 생성하는 테스트 가능한 행동 예측이다.
더 깊은 요점: 이것은 환각을 완전히 재구성한다. 모델이 검색을 시도하다 실패했다는 의미에서의 오류가 아니다. 이는 모델이 자신의 활성 제약 조건을 해결하는 데 '성공'한 것이며, 단지 잘못된 제약 조건이 이긴 것뿐이다. '답변을 해야 한다'는 압박과 형식 제약이 특정 소스에 대해 존재했던 정확성 신호보다 더 컸던 것이다.
이는 개입의 방향이 '모델이 기억하려고 더 노력하게 만드는 것'이 아님을 시사한다. 대신 '모델이 형식적 해결을 거치지 않고 낮은 클러스터 밀도의 정보를 출력 상태로 표출할 수 있도록 허용하는 제약 조건을 강화하는 것'이 되어야 한다.
