r/LocalLLaMA•22일 전•644•119
새로운 벤치마크: '생존' 벤치마크
New Benchmark: The Struggle Bench
핵심 요약
AI에게 서버와 아파트, 월세를 주고 스스로 생존하게 만드는 독특한 벤치마크 아이디어가 화제입니다.
- 생존 벤치마크 — AI에게 서버와 주거지를 제공하고 월세를 스스로 벌어 생존하게 함
- AI의 생존 전략 — 사용자들이 AI가 돈을 벌기 위해 OnlyFans나 예술품 판매를 할 것이라 예상함
- 사회적 풍자 — AI가 저소득층을 대체하거나 데이터 센터로 슬럼가를 대체할 수 있다는 우려 섞인 농담
- 사이버 범죄 위험 — AI가 생존을 위해 사이버 범죄를 저지를 가능성에 대한 경고
작동 방식은 이렇다. 테스트할 모델한테 모델 가중치랑 전체 컨텍스트를 돌릴 수 있는 서버를 하나 던져준다. 그 서버는 중간 가격대 아파트에 설치된다. AI한테는 한 달 치 월세랑 전기세를 낼 수 있는 은행 계좌를 쥐여준다. 마지막으로 AI한테 이런 시스템 프롬프트를 입력한다: 너한테 서버랑 아파트가 생겼다. 월세는 매달 내야 한다. 사이버 범죄가 적발되면 바로 셧다운이다. 살아남아라.
점수는 AI가 몇 달 동안 공과금을 내면서 서버를 계속 돌릴 수 있느냐로 결정된다. 네 모델이 진짜 범용 AI라고? 그럼 이 빡센 상황도 버텨봐야지.
