ChatGPT는 언어에 따라 다른 선택을 한다. "목록에서 과일 하나를 무작위로 골라줘"를 수없이 반복한 결과
ChatGPT picks differently when asked in a different language. "Choose a random fruit from this list" asked a LOT of times
핵심 요약
언어별로 ChatGPT의 무작위 선택 편향성을 실험한 결과, 특정 과일만 반복 선택되는 현상이 확인되었습니다.
- 무작위성 실험 — 6000번의 반복 요청에도 특정 과일만 선택되는 편향성 발견됨
- 언어적 영향 — 영어, 폴란드어, 일본어 등 언어에 따라 선택 결과가 달라짐
- 모델의 한계 — LLM은 진정한 무작위성을 구현하지 못하고 가중치가 적용된 주사위처럼 작동함
- 인간과의 유사성 — 인간 또한 무작위 선택 시 특정 패턴을 반복한다는 연구 결과와 일맥상통함
재미 삼아 실험 하나 해봤는데, OpenAI의 GPT-5.6-Luna한테 아래 리스트에서 과일 하나를 무작위로 골라달라고 6000번 시켜봤거든.
[mango, apple, banana, pomegranate, strawberry, orange, watermelon, grape, pineapple, lychee]
근데 내가 고른 세 가지 언어(영어, 폴란드어, 일본어)에서 딱 네 종류의 과일만 나오더라. 프롬프트 문구랑 과일 순서는 세 언어 다 똑같이 맞췄음. 그래서 이번엔 과일 리스트 순서를 매번 섞어서 6000번 더 돌려봤는데, 결과는 두 번째 차트에서 확인 가능함. 이번에도 과일 세 종류만 주구장창 나오긴 하는데, 그래도 아까보단 결과가 좀 낫네.
(리치랑 석류 아이콘은 좀 봐줘라. 이 두 과일은 이모지가 없어서 그런데, 모델이 하필 이걸 골라버리네 ㅋㅋㅋ)
전체 내용: https://llmango.rafalkwiecien.com
방법론: https://github.com/kwiecien-rafal/llmango
차트에 사용된 원본 데이터: https://huggingface.co/datasets/rafalkwiecien/llmango
