Claude와 GPT의 숨겨진 추론 과정이 해독됨, 흥미로운 결과

걔네 이거 통제 못 함

가중치를 낮추는 게 어려운 이유는 '모델이 사전 학습에서 정확한 답을 기억해낸 것'과 '기술에 대한 사전 지식이 강해서 모델이 진짜로 빠르게 다시 유도해낸 것'을 깔끔하게 구분할 수 없기 때문임. 정확한 토큰 일치가 아니면 대규모로 검증하는 건 사실상 불가능해. 사전 학습 단계에서의 디컨(decon)은 보통 n-gram 중복 제거를 쓰는데, 그래도 패러프레이즈된 AIME 변형 문제들은 계속 통과함. 솔직히 이런 유출된 추론 과정은 사후 감사 도구로 쓰는 게 더 유용하지...

그 j-lens 기법 전체를 사용하면 둘 중 어떤 경우인지 훨씬 더 잘 파악할 수 있을 텐데.

근데 왜 굳이 AIME 문제를 제외하려는 거지? 이런 대회 준비하는 사람들 아는데, 이 사람들은 이전 문제들을 다 풀어봐서 무작위로 던져줘도 몇 개는 바로 알아볼걸.

맞는 말임. 좋은 질문이야. 이유는 편향되지 않은 벤치마크를 얻기 위해서겠지. 근데 그게 목표가 아닌 건 확실함 ㅋㅋ. 나도 ML 연구를 좀 해봤는데, 어떤 모델을 학습시키든 학습에 의도적으로 사용하지 않은 라벨링 데이터셋의 일부를 사용해서 성능을 확인하잖아. 만약 그걸로 학습시키고 특정 내용을 강화했다면, 그걸 나중에 벤치마크로 썼을 때 무슨 의미가 있는지 모르겠음 🤷

좋네, 고맙다! 🥳🎉

올해 말 전까지 128G 기기에서 돌릴 수 있는 GPT 5.6 Luna max급 성능의 오픈 웨이트 모델이 나올 거임.