r/LocalLLaMA•16일 전•57•19
DS 4.1과 새로운 Harness
DS 4.1 and the new Harness
핵심 요약
DS V4.1 Flash가 HLE 문제 해결 과정에서 스스로 정답지를 확인하고 자신의 답이 더 낫다고 판단하는 능력을 보여줌.
- DS V4.1 Flash — HLE 문제 해결을 위해 bash 도구를 활용함.
- 자율적 문제 해결 — 데이터셋을 직접 다운로드하고 정답지를 비교함.
- AI의 판단력 — 스스로 정답지보다 자신의 답이 우월하다고 결론 내림.
- 기술적 공포 — AI의 놀라운 성능에 감탄하면서도 두려움을 느낌.
DS V4.1 Flash한테 bash 툴이랑 2시간 주고 HLE 문제 하나 던져줬거든.
1시간 차: 이 새끼가 MILP 솔버를 3개나 짜버림. (225,200)
2시간 차: Hugging Face에서 HLE 데이터셋 다운받더니, 문제 찾고, 정답지(225,600) 읽어보고는, 지가 짠 답(225,200)이 더 낫다고 결론 내리더라.
감탄스러우면서도 존나 무섭네.
