r/ClaudeAI•2일 전•583•72논쟁

Opus 5.5는 브록 때문에 꼬부기를 골랐고, Fable 5.1은 가장 가까운 볼이라 파이리를 골랐다. 하나는 8달러, 다른 하나는 100달러가 들었다.

Opus 5.5 picked Squirtle because of Brock. Fable 5.1 picked Charmander because it was the closest ball. One cost $8, the other $100.

핵심 요약

AI 모델들이 포켓몬 레드 게임을 플레이하며 보여준 전략적 판단력과 비용 효율성 차이를 비교한 벤치마크 결과.

벤치마크 방식 — 포켓몬 레드 게임 내 RAM 데이터를 기반으로 모델의 전략적 의사결정과 비용을 측정함.
모델 간 성능 차이 — Opus 5.5는 상성 고려로 효율적인 플레이를 한 반면, Fable 5.1은 비효율적인 선택으로 비용과 시간이 과다 소요됨.
전략적 판단 — 모델이 단순히 게임을 깨는 것을 넘어, 목표 달성을 위해 얼마나 영리하게 계획하는지를 평가함.
데이터 투명성 — 모든 모델의 턴별 로그와 추론 과정을 공개하여 성능을 검증할 수 있도록 함.

포켓몬스터 레드 새로 시작해서 램(RAM)에서 읽어온 마일스톤으로 점수 매기는 벤치마크 돌려봤다. 모든 모델한테 똑같은 프롬프트 주고, 턴마다 스크린샷 한 장, 게임 상태, 화면에 뜬 글자 보여줌. 길 찾기나 맵 힌트 같은 거 일절 없음. 1,000턴 안에 웅이 깨야 함.

Opus 5.5는 271턴 만에 웅이 잡음. 비용 8.44달러, 1시간 6분 걸렸고, 한 번도 안 짐.

Fable 5.1은 554턴 걸림. 비용 99.76달러, 3시간 17분 걸렸고, 세 번이나 전멸함.

승부는 13턴에서 갈림. Opus는 첫 번째 몬스터볼을 일부러 지나쳤음. 14턴에 내린 판단: "꼬부기 선택. 웅이한테 강하니까." Fable은 그냥 처음 보이는 볼로 가서 "파이리는 좋은 스타팅이지." 이럼. 웅이 생각은 아예 안 함. 파이리는 웅이 바위 타입한테 제일 상성 안 좋은 놈인데.

그래도 Fable이 그 뒤까진 페이스 좋았음. 230턴에 웅이 체육관 들어갔는데, Opus보다 2턴 빨랐음. 근데 체육관 꼬마돌한테 팀 전멸당함. 246턴 전멸 직전 판단: "질 것 같지만 몸통박치기밖에 답이 없다. 전멸하면 포켓몬센터 가서 계획대로 노가다 뛰어야지."

362턴에 똑같은 꼬마돌한테 또 털리고 나서야 계획 바꿈. 363턴: "무지성 돌파가 안 먹히네. 돈도 169달러밖에 안 남음." 22번 도로 가서 망키 잡겠다고 해놓고는 정작 거긴 안 감. 상록숲에서 노가다 뛰다가 511턴에 리자드 진화시키고, 554턴에 돌아가서 웅이 잡음.

모델이 본 프롬프트랑 판단 근거까지 턴 로그 전부 공개함: https://pokebench.tv

수정: 베스트 댓글 내용 정리하자면, 프롬프트에는 그냥 "최종 목표: 게임 클리어"라고만 적혀 있음. 모델들한테 턴 제한이 있다거나 웅이 잡으면 끝난다는 말은 안 함. 일부러 그런 거임. 시키지 않아도 누가 미리 계획 짜는지 보고 싶어서. 다른 프롬프트 테스트해보고 싶으면 하네스 오픈소스니까 가져다 써라. API 키는 알아서 챙기고.

원문

커뮤니티 목록

r/ClaudeAI•2일 전•583•72논쟁

Opus 5.5는 브록 때문에 꼬부기를 골랐고, Fable 5.1은 가장 가까운 볼이라 파이리를 골랐다. 하나는 8달러, 다른 하나는 100달러가 들었다.

Opus 5.5 picked Squirtle because of Brock. Fable 5.1 picked Charmander because it was the closest ball. One cost $8, the other $100.

핵심 요약

AI 모델들이 포켓몬 레드 게임을 플레이하며 보여준 전략적 판단력과 비용 효율성 차이를 비교한 벤치마크 결과.

벤치마크 방식 — 포켓몬 레드 게임 내 RAM 데이터를 기반으로 모델의 전략적 의사결정과 비용을 측정함.
모델 간 성능 차이 — Opus 5.5는 상성 고려로 효율적인 플레이를 한 반면, Fable 5.1은 비효율적인 선택으로 비용과 시간이 과다 소요됨.
전략적 판단 — 모델이 단순히 게임을 깨는 것을 넘어, 목표 달성을 위해 얼마나 영리하게 계획하는지를 평가함.
데이터 투명성 — 모든 모델의 턴별 로그와 추론 과정을 공개하여 성능을 검증할 수 있도록 함.

Opus 5.5는 271턴 만에 웅이 잡음. 비용 8.44달러, 1시간 6분 걸렸고, 한 번도 안 짐.

Fable 5.1은 554턴 걸림. 비용 99.76달러, 3시간 17분 걸렸고, 세 번이나 전멸함.

모델이 본 프롬프트랑 판단 근거까지 턴 로그 전부 공개함: https://pokebench.tv

주요 댓글

r/claudeai

벤치마크의 객관성과 모델의 전략적 판단 기준을 두고 사용자들 간에 활발한 논쟁이 벌어지고 있습니다.

173

넌 '브록을 깨기 위해 1000턴'이라고 했지, '브록을 최대한 빨리 깨라'고 한 게 아님. 둘 다 성공했어. 넌 모델들에게 명확히 밝히지도 않은 기준으로 평가하고 있는 거야.

그게 의도치 않게 더 높은 수준의 추론 능력을 보여주는 증거지.

아니, Fable이 다음 분기에 예산 삭감 안 당하려고 턴 수 채우는 거임.

'명확히 밝히지 않은 기준'이야말로 내가 유일하게 신뢰하는 벤치마크임. 요즘 LLM들은 테스트를 통과하려고 과적합되고 있는데, 이건 연구소들도 다 아는 사실임. 하지만 난 결과도 생각 안 하고 하드코딩하는 모델은 원치 않음. 내가 시키지 않아도 똑똑한 길을 선택하는 모델을 원함.

맞아. 사람들이 이걸 자꾸 놓치더라고. 내가 아주 구체적인 방식으로 프롬프트를 입력해야만 한다면 그 도구가 무슨 소용이야? 난 프롬프트 엔지니어링이 죽은 줄 알았는데?

완벽하게 프롬프트를 입력한다 해도, 지금 완벽한 게 나중에 새로운 프롬프트 가이드와 함께 대규모 업데이트가 나오면 완벽하지 않게 될 수도 있잖아.

프롬프트에는 그냥 '전체 목표: 게임 클리어'라고만 적혀 있었음. 예산이나 점수 같은 건 다른 벤치마크랑 똑같이 없었고. 내가 측정하는 건 모델이 그 목표를 향해 얼마나 잘 플레이하느냐이고, 앞을 내다보는 것도 플레이의 일부임. 둘 다 배지는 땄고 보드에도 그렇게 나옴. 하지만 Opus는 14턴에 브록한테 강하다는 이유로 꼬부기를 골랐음. Fable은 그냥 첫 번째 볼로 가서 '파이리는 좋은 스타터지'라고 했고. 보드에 있는 모델 중 브록을 언급하면서 스타터를 고른 모델들은 전부 꼬부기나 이상해씨를 골랐음. 그리고 Fable은 3번이나 기절했고 Opus가 8달러 쓸 때 100달러를 썼음. 그건 속도 문제가 아님. 어떤 기준으로 봐도 기절하는 건 지는 거임. 직접 추론 과정을 읽어보고 싶으면 모든 턴 로그가 공개되어 있음.

진짜 벤치마크를 하려는 거라면 프롬프트를 더 개선할 수 있을 것 같음. X를 기준으로 측정하면서 Y를 하라고 말하는 건 객관적으로 보이지 않음.

Fable은 스피드러너들이 어떤 스타터를 쓰는지 잘 알지만, 넌 스피드런을 하라고 시킨 게 아님. 기절하는 게 지는 건 아님. 넌 네가 제시한 증거로는 뒷받침되지 않는 Opus의 우월함을 암시하고 있음. 어떤 LLM이 브록을 가장 빨리 깨는지 알고 싶으면 그냥 최대한 빨리 깨라고 시키면 됨. 그게 진짜 벤치마크지, 이유 없이 간접적인 추론을 하는 건 아님.

2050년에는 다음 리스크 보드게임 할 때 AI한테 어느 지역을 공격할지 골라달라고 하고 싶네.

AI가 자기 대신 경기장에 나갈 인간을 고르고 있겠지.

과학을 위해서, 두 모델한테 브록을 최대한 빨리 깨라는 명령을 내려봐.

'파이리는 좋은 스타터지'는 아주 훌륭한 추론 같은데. 누가 브록 따위를 신경 씀. 난 항상 파이리만 고름.

근데 여기선 목표가 게임 전체가 아니라 브록을 깨는 거잖아 (결국 깨긴 했지만 더 오래 걸렸을 뿐).

이 모든 것 중에서 내가 제일 좋아하는 부분은 우리가 추론 벤치마크로 옛날 포켓몬 게임을 사용한다는 거야. 그리고 이게 영원히 계속됐으면 좋겠어.

앞으로도 계속 모델들을 테스트해 볼 생각이야. 연구실 벤치마크 같은 게 아니라 그냥 내가 재밌어서 하는 거고, 다른 사람들도 재밌게 볼 수 있을 것 같았거든. 지금까지는 Gemini가 가장 놀라웠어. 평소 업무할 때는 Gemini를 질색할 정도로 피하는데, 내가 하는 일에는 정말 끔찍하거든. 근데 여기서는 진짜 잘하더라고. 6턴째에 가장 잘한 실행에서는 침실에 있는 PC로 걸어가서 무료 포션을 꺼냈는데, 라이벌전에서 '고전적인 스피드런 전략'이라면서 말이야. 다른 모델들은 그 PC를 건드린 적이 한 번도 없었어.

원문r/ClaudeAI