Fable 5가 영어 전용 채팅에서 중국어 토큰을 환각으로 생성함. 😮
Fable 5 hallucinating Chinese tokens in a English-only chat. 😮
핵심 요약
Fable 5 모델이 영어 대화 도중 갑자기 중국어 문자를 섞어 출력하는 현상에 대한 기술적 분석과 토론.
- 모델 환각 현상 — 영어 대화 중 중국어 토큰이 삽입되는 이상 동작 발생
- 토큰 벡터 공간 — 영어 단어와 중국어 토큰이 벡터 공간상에서 가깝게 배치되어 발생하는 현상
- 다국어 학습 효율 — 모델이 학습 과정에서 효율적인 언어 표현을 선택하며 발생하는 구조적 특성
- 기술적 논쟁 — LLM의 언어 처리 방식과 효율성에 대한 사용자 간의 의견 대립
다들 안녕,
오늘 최신 Fable 5 모델을 쓰다가 아주 기묘한 글리치를 발견했는데, 혹시 비슷한 경험을 했거나 그 내부 메커니즘을 설명해 줄 수 있는 사람이 있는지 궁금해서 글을 써.
완전히 영어로만 진행되는 프로젝트를 작업 중이었어. 중국이나 중국어, 번역, 혹은 그와 조금이라도 관련된 언급은 전혀 없었지. 그런데 갑자기 모델이 응답에 이걸 뱉어내더라고 (이미지 참조):
“(your两 suggestions):”
찾아보니까 两는 중국어로 "둘"이나 "양쪽"을 의미하더라고. 문맥상 분명히 *"your two suggestions"*라고 말하려던 게 확실해.
LLM이 개념을 압축하거나 중국어 문자를 사용해서 환각을 일으키는 토큰 경제 현상은 알고 있어. 중국어 문자는 한 글자가 단어 하나나 압축된 토큰 전체를 나타낼 수 있으니까.
근데 솔직히 Qwen 같은 모델에서나 보던 토큰 절약형 기벽을 Claude/Fable 같은 미국의 플래그십 모델에서 보게 될 줄은 몰랐네!
Anthropic의 토크나이저가 최근 들어 영어 문구를 다국어 토큰으로 공격적으로 최적화하고 있는 걸까? 아니면 그냥 가중치에서 발생한 고전적인, 아주 희귀한 교차 오염일까?
Fable의 어휘가 어떻게 매핑되는지 기술적인 측면을 아는 사람이 있다면 꼭 좀 알려줘!
