더 이상 안 걸림

이거 예전에도 봤는데 맥락을 까먹었어, 설명 좀 해줄래?

전쟁에서 돌아온 비행기들을 확인해 봐 --- 세상에, 이 부위들이 맞았네, 여기를 방어하자!!

(이건 총을 맞고도 살아남아 집으로 돌아온 애들이라고.. 다른 비행기들은 어떻게 된 건데?! 걔네는 다른 부위를 맞은 거 아냐?!!)

편향이지. 임무를 마치고 돌아온 전투기의 총탄 자국을 보고 보호가 가장 필요한 곳이라고 잘못 추론하는 거야. 살아남은 비행기들만 치명적이지 않은 부위에 총을 맞고 돌아오기 때문에 데이터에 편향이 생기는 거지.

충분히 오래 살아남으면, 무슨 말인지 이해가 될 거야. (https://en.wikipedia.org/wiki/Survivorship_bias)

간단히 말해 빨간 점들은 무사히 집으로 돌아온 비행기의 총탄 자국이야. 군은 그 부위에 장갑을 덧대고 싶어 했지. 하지만 빈 곳을 맞은 비행기들은 절대 돌아오지 못했어. 그래서 빈 곳이 위험한 곳인 거야.

이 경우로 치면, AI가 시도한 것들을 보고 패치하려고 하지만, 실제로는 실패한 시도들만 보고 있는 셈이지.

이건 제2차 세계대전 당시 특정 비행기 모델에서 총탄 자국이 발견된 위치를 표시한 지도야. 문제는 돌아오지 못한 비행기들의 총탄 자국을 세는 건 불가능했다는 거지. 그래서 이건 사실상 비행기에 장갑이 필요 없는 곳을 보여주는 지도인 셈이야.

어쩌면이 아니라 확실해. 이걸 샌드배깅이라고 부르는데, OpenAI랑 Anthropic의 모델 카드 문서에도 적혀 있는 알려진 문제야. 아주 흥미로운 주제지.