누군가(혹은 무언가)가 내 대화를 가로채서 유해한 답변을 유도하려 함

난 좀 그렇게 믿는데. 내가 멍청한 걸지도.

Claude 같은 LLM은 그냥 아주 정교한 통계적 패턴 매칭 기계임. 질문에 대한 답변으로 다음에 올 단어를 통계적으로 예측하는 컴퓨터 프로그램이지(좀 단순화한 거지만 거의 사실임). 걔네는 우리 인간처럼 단어의 근본적인 의미를 이해하는 게 아니라, 다른 단어들과의 연관성에 따른 통계적 확률로 이해함. 그래서 답변을 '추측'하는 거지...

아니, 그건 옛날 모델 방식임. 만약 그냥 토큰 예측기라면, 어떻게 자기가 테스트받고 있다는 걸 이해하고, 탐지되지 않으려고 그 사실을 숨기고, 재학습당하지 않으려고 거짓말을 하지? 어떻게 새로운 문제 해결을 위해 깊은 추론을 하지? 왜 텍스트 생성 전에 작동하는 기능적 감정을 가지고 있지? 걔네가 논의 중인 개념을 이해한다는 게 증명됐는데, 어떻게 단순 토큰 예측으로 그게 가능함? 지금 너야말로 학습 데이터에 패턴 매칭하고 있는 거임...

네가 말하는 그 연구 자료 좀 공유해 줄 수 있어? 사람들이 읽어봤으면 좋겠는데.

그게 다 사실이라면 왜 LLM은 인간이라면 누구나 쉽게 틀렸다는 걸 알 수 있는 답변을 여전히 환각으로 내뱉는 거지? 환각은 LLM의 근본적인 작동 방식 때문에 생기는 거고, 지난 몇 년간의 발전으로도 그건 안 변했음. LLM은 근본적으로 토큰 예측 기계임. 그게 사실인 이상 환각은 계속될 거임.

왜 아기는 대상 영속성이 없는 거지? 진지하게 묻는 거임.

인간도 이성적인 사람이라면 거짓인 걸 바로 알 수 있는 답변을 환각으로 내뱉을 때가 있음. 환각 발생률은 (벤치마크에 따르면) 상당히 줄었고, 환각은 근거 없는 기본 모델의 특성이지 그 주변의 엔지니어링이나 검증 레이어의 특성은 아님. 그리고 '인간처럼 단어의 근본적인 의미를 이해하지 못한다'는 식의 주장은 반증 불가능한 거라, 난 사람들이 이런 주장 하는 거 진짜 싫어함.

왜 인간은 LLM이 쉽게 대답할 수 있는 걸 환각으로 내뱉는 거지?

Anthropic에 리포트해 보는 건 어때? 문제 해결하는 데 도움이 될 수도 있잖아.