r/LocalLLaMA•6개월 전•57•72
얘들아, 펠리컨 테스트 바꿔야 해
Guys we have to change the pelican test
핵심 요약
기존 펠리컨 자전거 테스트가 모델들에게 너무 익숙해져서, 새로운 과제로 'F1 레이싱카를 탄 말'을 제안함.
- 테스트 변경 제안 — 기존 펠리컨 자전거 테스트가 모델들에게 너무 익숙해져서 새로운 과제를 제안함.
- 새로운 벤치마크 — 'F1 레이싱카를 탄 말'을 SVG로 생성하는 과제를 통해 모델 성능을 비교함.
- 모델 성능 비교 — Gemini, DeepSeek, Claude 등 다양한 모델의 결과물을 시각적으로 비교함.
- 커뮤니티 반응 — 새로운 테스트의 재미와 모델들의 기괴한 결과물에 대해 흥미로운 반응을 보임.
요즘 자전거 탄 펠리컨 SVG 테스트가 많이 보이는데, 효과적이긴 하지만 다들 느끼다시피 이제는 너무 벤치마크에 최적화된 것 같아서 조만간 바꿔야 할 것 같아. 그래서 내 아이디어는 이거야.
generate me a html svg of a horse sitting in an f1 race car
Gemini 3.1 Pro는 이렇게 줬어
그리고 DeepSeek Expert Mode는 이거
GLM 5.1 (비공식 클라우드 호스팅)
MiniMax 2.7 (비공식 클라우드 호스팅)
Kimi K2.5 (2.6은 접근 권한이 없고 예산도 제한적이라 공식 웹사이트에서 사용했어)
Claude Sonnet 4.6 (공식 웹사이트, 아마 양자화 버전일 거야)
Qwen 3.6 Plus (공식 웹사이트)
