Baba Is You로 벤치마킹한 Claude Opus 5, Kimi K3, Grok 4.5, Gemini 3.6 Flash 비교

어떤 거?

이거 벤치마킹에 목숨 걸었다는 뜻임?

독일어 잘 못해 친구야. 영어로 말해줄 수 있어?

Baba Is You는 게임 자체가 퍼즐 도중에 규칙을 계속 바꿔야 해서 이 벤치마크에 딱임. 단순히 패턴 매칭만 하는 모델들은 상태를 제대로 추론하지 못해서 바로 털리거든. 모델들이 서로 다른 방식으로 실패하는 게 보였음? 예를 들어, 고정된 규칙 안에서 푸는 것보다 규칙 자체를 바꾸는 도약에 더 강한 모델이 있었는지 궁금함. 나한테는 단순 점수보다 그런 분석이 훨씬 더 의미 있을 듯.

Terra가 Sol보다 비용이 더 많이 드네. 이건 기본 지능이 높은 모델은 결론에 도달하기 위해 많은 추론이 필요하지 않다는 뜻임. Terra가 저렴하더라도 지능이 낮아서 결론에 도달하는 데 시간이 더 걸릴 거야.

오픈 모델들로 1/2/4-bit quantization 테스트해보면 재밌을 듯. 모델이 얼마나 멍청해지는지 확인할 수 있잖아.

이 두 댓글은 왜 이렇게 비슷하게 생겼냐?

인터넷은 그냥 다 봇판인 듯.