r/LocalLLaMA•25일 전•115•54논쟁

GPT-6 Astra의 ARC AGI-3 98.6% 점수에 관하여: 과대광고에 속지 마세요

On GPT-6 Astra 98.6% ARC AGI-3: don't fall for the hype

핵심 요약

OpenAI의 ARC AGI-3 벤치마크 결과가 독자적인 하네스 사용으로 인해 과대평가되었다는 비판과 논쟁.

벤치마크 신뢰성 — 독자적인 하네스 사용이 결과의 객관성을 해친다는 지적함
비교의 공정성 — 표준 하네스 대신 커스텀 도구를 사용하는 것은 경주에 슈퍼바이크를 허용하는 것과 같음
기술적 맥락 — NVIDIA 등 다른 사례에서도 이미 100% 달성 사례가 존재함
AGI 회의론 — 벤치마크 점수가 AGI 도래를 증명하는 것은 아니라는 의견이 지배적임

Here is the news you may have missed:

Nvidia already demonstrated 100% on ARC AGI-3, using their novel harness AVO:

https://developer.nvidia.com/blog/nvidia-avo-reaches-100-on-arc-agi-3-demonstrating-a-frontier-level-general-purpose-architecture-for-long-horizon-autonomous-agents/#

OpenAI didn't use the standard harness in the ARC AGI-3, but their own.

원문

커뮤니티 목록

r/LocalLLaMA•25일 전•115•54논쟁

GPT-6 Astra의 ARC AGI-3 98.6% 점수에 관하여: 과대광고에 속지 마세요

On GPT-6 Astra 98.6% ARC AGI-3: don't fall for the hype

핵심 요약

OpenAI의 ARC AGI-3 벤치마크 결과가 독자적인 하네스 사용으로 인해 과대평가되었다는 비판과 논쟁.

벤치마크 신뢰성 — 독자적인 하네스 사용이 결과의 객관성을 해친다는 지적함
비교의 공정성 — 표준 하네스 대신 커스텀 도구를 사용하는 것은 경주에 슈퍼바이크를 허용하는 것과 같음
기술적 맥락 — NVIDIA 등 다른 사례에서도 이미 100% 달성 사례가 존재함
AGI 회의론 — 벤치마크 점수가 AGI 도래를 증명하는 것은 아니라는 의견이 지배적임

Here is the news you may have missed:

Nvidia already demonstrated 100% on ARC AGI-3, using their novel harness AVO:

https://developer.nvidia.com/blog/nvidia-avo-reaches-100-on-arc-agi-3-demonstrating-a-frontier-level-general-purpose-architecture-for-long-horizon-autonomous-agents/#

OpenAI didn't use the standard harness in the ARC AGI-3, but their own.

주요 댓글

r/localllama

OpenAI의 ARC AGI-3 벤치마크 결과 발표를 두고, 이것이 진정한 성능 향상인지 아니면 특정 목적을 위한 harness 조작인지에 대해 사용자들 사이에서 논쟁이 벌어지고 있음.

110

표준 하네스를 사용해도 Astra는 여전히 66%를 달성할 수 있음.

여전히 대단한데.

혹시 그거에 대한 편한 출처 있어? 다른 곳에서 짜증 나는 AGI 종말론자들의 거품을 좀 꺼줘야겠거든…

https://arcprize.org/blog/astra 여기가 출처임

와! 대단하네.

-2

그래서 그게 정확히 뭐가 대단하다는 거임? 특정 벤치마크에 맞춰 모델을 학습시킬 수도 있는 건데.

ARC 벤치마크의 핵심이 애초에 그런 식으로 학습이 불가능하게 만드는 거 아니었나?

NVIDIA가 100%(또는 그에 근접한 수치)를 달성한 첫 번째 사례도 아니야. 그 전에도 7월까지 거슬러 올라가는 Arc-Skill, VISTA(NVIDIA 기사에서도 언급함), Schema 하네스들이 구형 모델들에 사용됐었어.

Astra가 훌륭한 결과를 낸 건 맞지만, 독자적인 하네스를 포함해서는 안 돼. 만약 그렇게 한다면, 투르 드 프랑스에 슈퍼바이크를 허용하는 것과 다를 바 없지. 그 시점부터 경주는 실제 라이더를 측정하는 게 아니라 슈퍼바이크를 측정하는 게 되어버리니까.

이건 완전히 틀린 말임. 이 harness들로 100% 점수를 받은 공개 게임이 25개나 있음. 심지어 비공개 게임 110개에 대해서는 채점조차 안 됐음. 이건 학습 데이터로 학습해놓고 100점 맞았다고 자랑하는 꼴임. 여기서 'harness로 치트 치는 법'을 직접 해볼 수 있음: https://www.kaggle.com/competitions/arc-prize-2026-arc-agi-3/leaderboard 얼마나 100점 찍기 쉬운지 확인해보셈

발표문에 있는 [1]을 읽어보면 harness가 딱히 특별한 것도 아님. 그냥 대화 기록을 유지하는 것뿐인데, 이건 대부분의 사람이 모델을 평소에 사용하는 방식이기도 함. 100% 찍는 결과들 대부분은 특정 목적을 위해 만들어진 harness임.

그냥 이름만 거창한 벤치마크일 뿐임. 거기서 잘 나오는 건 좋지. 근데 AGI나 그 근처라도 갔다는 증거는 절대 아님. 그냥 astra 모델 돌려보고 입력값 없이 뭘 할 수 있는지나 봐라.

왜 안 된다는 거임? 벤치마크를 위해 harness를 해킹한 것도 아닌데. 이건 객관적으로 좋은 일임. Frontier 모델들이 한계를 밀어붙이면 다른 연구소들이 따라잡는 거지. 난 지금 몇 달 전 frontier 모델들을 박살 내는 모델들을 푼돈 내고 쓰고 있음. 여기엔 혁신할 여지가 아주 많음.

심지어 차트에 있는 자기네 구형 모델들은 실제 harness를 써서 성능을 일부러 낮춰놨더라. 하단에 있는 주석은 sol이 자기네 치트(cheat)를 썼을 때 얼마나 더 잘하는지에만 초점이 맞춰져 있었음.

원문r/LocalLLaMA