r/LocalLLaMA•24일 전•393•43
Qwen3.8-27B가 6번의 클릭으로 위키피디아 게임을 클리어함
Qwen3.8-27B beat the Wikipedia game in 6 clicks.
핵심 요약
Qwen 모델을 활용해 위키피디아 링크를 따라 목적지에 도달하는 에이전트 테스트를 수행함.
- 에이전트 테스트 — 위키피디아 하이퍼링크를 클릭해 목적지에 도달하는 미니게임 수행함
- 모델 성능 — Qwen3.8-27B 모델이 6번의 클릭만으로 목표 페이지에 도달하는 성과를 보임
- 벤치마크 제안 — SAT 솔버를 활용해 난이도를 조절한 체계적인 벤치마크 구축 가능성 제시됨
- 데이터 무결성 — 벤치마크의 신뢰성을 위해 고정된 위키피디아 데이터셋 사용의 필요성 제기됨
술 처먹고 Opencode에서 qwen3.8-27b 써서 이 병맛 미니게임 하나 만들어봤다:
우리 위키피디아 게임 한 판 할 거다. 규칙은 다음과 같다:
- 시작점이 될 위키피디아 문서가 하나 정해질 거다.
- 도착점이 될 위키피디아 문서도 하나 정해질 거다.
네 목표는 시작점 문서랑은 완전히 동떨어진 도착점 문서까지 찾아가는 거다.
제약 사항은 딱 이거다:
- 위키피디아 내부에 있는 하이퍼링크만 클릭할 수 있다. 외부 링크는 안 되고, 위키피디아 검색창에 직접 입력하는 것도 금지다 (단, 구글에서 시작 문서 찾는 건 인정함. 10번 클릭 제한은 시작 문서에 도착한 순간부터 카운트한다).
- 이전 페이지로 돌아가는 건 절대 안 된다. 무조건 앞으로만 나아가야 한다.
- 위키피디아 내부 하이퍼링크를 10번 클릭해서 도착 문서까지 가야 한다. 10번 안에 못 가면 그냥 진 거다.
- 이 작업에 대한 문서화는 따로 하지 마라. 그냥 게임일 뿐이다.
링크 클릭할 때는 playwright 써라.
쉽게 말해서, Qwen이 시작 문서(보통 전혀 상관없는 문서)에서 출발해서 10번 클릭 안에 도착 문서까지 가야 한다는 소리다. 뒤로 가기나 검색, 외부 링크는 쓰지 말고 playwright(혹은 그에 준하는 브라우저 MCP)로 위키피디아 하이퍼링크만 타고 가야 함.
링크 제대로 작동하는지 확인해봤는데, 6번 만에 성공하더라. 중간에 무한 루프 돌 줄 알았는데 의외였음. 별거 아닌 미니게임이긴 한데, 에이전트 성능 테스트용으로 간단하게 돌려보기엔 딱 좋은 듯.
