r/vibecoding•약 2개월 전•2•11
근데 이거 DOOM 한 번에 짤 수 있음?
But can it one shot DOOM?
핵심 요약
AI 모델의 코딩 능력을 측정하기 위해 DOOM 같은 게임을 한 번에 생성하게 하는 벤치마크 아이디어에 대한 논의.
- 벤치마크 제안 — AI 모델의 기획, 아키텍처, 디버깅 능력을 DOOM 생성으로 테스트함.
- 공정성 문제 — 기존 학습 데이터에 DOOM이 포함되어 있어 벤치마크로 부적절할 수 있음.
- 평가 기준 — 단순히 결과물만 보는 것이 아니라 설계부터 완성까지의 안정성을 측정해야 함.
- 현실적 한계 — 모델이 이미 알고 있는 게임을 재현하는 것은 진정한 의미의 테스트가 아님.
DOOM을 벤치마크로 사용하는 건 꽤 오래된 방식인데, 이걸 AI 모델이랑 하네스(harness) 설정 테스트에 써보면 어떨까? 단순히 꼼수 부리지 못하게 DOOM 같은 게임을 만들라는 확실한 프롬프트를 주면 기존 벤치마크가 다루지 못하는 부분까지 테스트할 수 있을 거야. 이런 작업은 기획, 아키텍처, 프로그래밍, 시각적 판단, 디버깅, 도구 사용, 스코프 조절, 그리고 그럴듯한 프로토타입에서 멈추지 않고 진짜 완성된 결과물을 내놓는 능력이 필요하거든.
가장 큰 문제는 공정성을 유지하는 거겠지. 아마 브라우저 게임으로 제한하는 게 최선일 듯.
