이건 대체 무슨 OpenBMB 1B 버전임?

벤치마크 수치가 MiniCPM5-1B랑 안 맞는다면, 아마 다른 OpenBMB 1B 체크포인트거나 이름이 바뀐 버전일 거야. 모델 카드 SHA나 config의 hidden size를 벤치마크 소스랑 비교해 봐.

숫자는 맞는데 제목이랑 열 정렬이 안 맞음. 차트 아래 표를 봐봐.

모델 벤치마크 점수 올리기에 아주 혈안이 됐구만

그 이미지는 아마 OpenBMB의 MiniCPM5-1B를 가리키는 것 같지만, 벤치마크 수치를 액면 그대로 받아들이는 건 조심해야 함. 측정 조건에 따라 점수가 달라지거든. 서로 다른 하네스, 프롬프트, 하드웨어 환경이 결과에 영향을 주고, 특히 1B 모델은 이런 수치에 엄청 민감함. 변수가 통제되지 않은 상태에서 다른 사람이 돌린 벤치마크 점수를 직접 비교하는 건 오해의 소지가 있음. 가장 좋은 방법은 직접 모델을 받아서 본인 컴퓨터에서 똑같은 벤치마크 스위트를 돌려보는 거임, 그리고...