r/OpenAI•12일 전•42•19
GoBench에서 최고 점수를 기록한 GPT-6 Astra
GPT-6 Astra scores highest on GoBench
핵심 요약
LLM의 추론 능력을 측정하기 위해 바둑을 활용한 새로운 벤치마크 'GoBench'가 공개되었습니다.
- GoBench 벤치마크 — LLM의 일반적인 추론 능력을 바둑 게임을 통해 측정함
- 성능 비교 — GPT-6 Astra가 Sol 및 Opus 모델보다 높은 Elo 점수를 기록함
- 코딩 활용 — 인터넷 없이 코딩 기능을 활성화했을 때 Astra의 성능이 대폭 향상됨
- 향후 연구 방향 — 시각적 게임 보드를 활용한 벤치마크 도입 가능성을 논의함
LLM이 바둑을 두게 해서 일반적인 추론 능력을 측정하는 새로운 벤치마크를 만들어 봤다.
GPT-6 Astra max는 2568 Elo를 찍었고, Sol max는 1929 Elo, Opus 5 high는 2076 Elo가 나왔다.
인터넷 연결 없이 코딩 기능을 쓰게 하니까 Codex with Astra는 3563 Elo까지 올라가더라. Codex with Sol이 2656 Elo인 거랑 비교하면 확실히 압도적임.
