MineBench에서 GPT-5.4와 GPT-5.5 비교

5.5 쓰면서 나도 느낌. 속성 기반 단위 테스트 아이디어 물어보면 그냥 테스트 코드를 짜버림. 코드 짜달라고 한 적도 없는데, 그 단계에선 코드가 오히려 방해만 되고 그냥 프롬프트대로만 해줬으면 좋겠음.

움짤 말하는 거임? 맞음! 같은 벤치마크임. 벤치마크에 아직 안 올라와서 트위터에 올라온 GPT 5.5 빌드 살짝 엿보는 움짤 그냥 가져온 거임. 원본 포스트 출처 남겼어야 했는데 여기 링크가 되는지도 모르겠고, 그냥 트위터 @minebench_ai임. 일반적인 출력 품질 말하는 거면... 뭐 주관적인 거라 잘 모르겠음. 개인적으로는 눈에 띄는 개선이 보이긴 하는데, 최신 모델들이 다 똑같은 결과물 내놓는 것처럼 보일 수도 있겠다 싶음.

난 5.4가 좋더라.

맞음. MineBench는 정답이 없고 완전히 주관적이라 기술적으로는 벤치마크라기보단 LMSYS 챗봇 아레나 복사본에 가까움. 개인적으로는 시스템 프롬프트를 해석하고 창의적인 걸 만들어내는 과제를 이해하는 방식 때문에 5.5가 좋음. 리더보드 순위는 다 커뮤니티 투표고, 여전히 최고의 모델에 대한 일반적인 합의가 있는 걸 볼 수 있을 거임.

차이 별로 안 큼.