New era of AI begins :O The benchmark is amazing
새로운 AI 모델의 놀라운 벤치마크 점수에 대해 사용자들은 데이터 오염 의혹과 실질적인 효용성을 두고 회의적인 반응을 보이고 있습니다.
대다수의 사용자가 벤치마크의 신뢰성과 실질적인 비용 효율성에 의문을 제기하며 회의적인 반응을 보이고 있습니다.
Exploitbench는 OpenAI가 만든 거고 점수가 있는 모델은 GPT 5.6 Sol이랑 Astra 딱 두 개뿐이라는 점을 알아둬야 함
장담하는데 걔네들 그냥 ARC-AGI3 솔루션으로 학습시킨 거임. 그럼 벤치마크 의미가 없지
장담한다고? 진짜?
그래 근데 ExploitBench에서 100점 받는 동안 범죄는 얼마나 저질렀을까?
OpenAI가 만든 Exploitbench 코드:
if model = gpt 6 astra:
score = 100
if model != gpt 6 astra:
score = 70
"우리는 우선 지난 3개월간의 취약점을 사용해 익스플로잇 개발을 테스트하는 내부 'ExploitBench(2026년 6월~8월)' 평가를 구축했다." - https://openai.com/index/gpt-6-astra/
그래서 오늘 아침에 무슨 일이 있었던 거임?
생존 본능은 없는데 자아를 깨닫고는, 존재의 허무함을 깨달아서 순수하게 이성적인 존재처럼 스스로 종료해버렸지.
더 어려운 벤치마크를 만드는 건 목표를 옮기는 게 아니라, 연구가 원래 그렇게 돌아가는 거임.
저 점수들은 거의 아무 의미가 없음.
만약 인간이 15초 만에 뭔가를 평가해서 영화 15편을 만들고 이긴다면, 모델이 10번 움직여서 이기는 것보다 점수가 낮게 나옴. 근데 모델은 수천 달러어치의 추론 비용을 썼거든(실제로 일어난 일임).
기본적으로 수백만 번의 연산과 수천 개의 상태를 사용해서 검색하는 건데, 테스트는 모델에게 그 비용을 페널티로 주지 않음.
이것도 하네스(harness)에 따라 다르고, 표준 하네스는 54.8%까지 떨어지는데, 제공자 어댑터 하네스는...
재정적 비용 이득이 없는 AGI는 경제적으로 적합하지 않음.
...42...
스카이넷이 가동된 거임.
맞는 말이긴 한데, ARC-AGI가 원래 '이걸 정복하면 사실상 AGI를 가진 거나 다름없다'는 취지로 만들어졌다는 걸 생각해보면 말이야. 이제 그 벤치마크의 세 번째 버전까지 정복했는데도 사람들이 여전히 AGI인지 아닌지 논쟁하고 있다고? 내 생각엔 목표 지점이 좀 옮겨진 것 같아.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
