Claude가 월드컵 경기 결과 6연속 적중함

난 '아부 좀 그만 떨어'라거나 '나를 전혀 좋아하지 않는 것처럼 말해줘... 나랑 자고 싶어서 안달 난 것처럼 굴지 말고' 같은 말을 적극적으로 써야 했음. 둘 다 대화 주제에 따라 꽤 흥미로운 반응을 끌어내더라.

결국 모델 10개를 비교해보면, 그중 하나는 10분의 1 확률로 맞히게 되어 있음

맞음, 그게 이런 연속 적중을 진지하게 받아들이기 힘든 이유지. 프롬프트마다 답이 바뀌면 이건 예측 능력을 측정하는 게 아니라, 샘플링 한 번 돌린 거랑 프롬프트 구성 방식을 측정하는 거임. 이게 의미가 있으려면 고정된 프롬프트, 고정된 temperature, 반복 실행, 그리고 배당률이나 단순 승자 예측 모델 같은 기준점이 필요함.

음… 좀 멍청한 소리일 수도 있는데, 표본을 엄청 많이 뽑아서 대수의 법칙이 알아서 하게 두면 안 됨?