크로노 트리거 줄거리 챌린지 - 2095년의 평범한 침실에서 깨어난 크로노...
The Chrono Trigger plot challenge - Crono awakens in his modest bedroom of 2095...
핵심 요약
LLM의 지식 정확도를 측정하기 위해 크로노 트리거 도입부를 활용한 벤치마크 테스트 결과입니다.
- 모델 벤치마크 — 크로노 트리거 도입부의 정확한 서술 능력을 다양한 모델로 테스트함
- 환각 현상 — 많은 모델이 게임 내용을 왜곡하거나 엉뚱한 설정을 지어내는 환각을 보임
- 성능 비교 — qwen3.8-flash와 gemma-4-31b-qat 모델이 가장 높은 정확도를 기록함
- 평가 기준 — 게임 내 특정 사건과 장소, 인물 관계를 포함한 14가지 질문으로 정확도 측정
환각 증상으로 인한 사건, 크로노가 2095년의 소박한 침실에서 깨어난다...
난 2025년 1월부터 로컬 모델을 쓰고 있어. 매일 쓰는 건 qwen 3.6 35B A3B인데, 코딩할 땐 꽤 괜찮거든. 근데 난 항상 모델들의 어휘 지식도 벤치마크해보는데, 보통 여기서 다들 나가떨어지더라고. 그것도 아주 처참하게 말이야. 최근에 qwen3.8 flash를 테스트해봤는데, 이건 언급할 가치가 있는 수준까지 올라온 것 같아.
세 줄 요약: qwen3.8-flash-next/iq4_xs 모델은 어휘 지식이 꽤 괜찮음.
난 모델들의 스토리텔링 능력을 벤치마크하는 걸 좋아하는데, 여기엔 어휘 지식과 최소한의 환각이 필요하거든. 대부분의 모델은 스토리에 있지도 않은 내용을 지어내. 가끔은 요구한 것보다 더 많은 내용을 떠들기도 하고. 내가 제일 좋아하는 게임 중 하나가 1995년에 슈퍼 패미컴으로 나온 JRPG '크로노 트리거'거든. 이 게임에 대해 물어보는 건 꽤 마이너한 테스트지만, 잘만 된다면 기쁠 것 같아. 내 목표는 게임 플레이 중에 게이머를 도와줄 수 있는 서포트 텍스트를 생성하는 거였어. 그래서 테스트하는 모든 모델에 똑같이 적용할 간단한 프롬프트를 짜봤지. 에이전트도 없고, 인터넷 검색도 안 하고, 추가 문맥을 위한 파일 읽기도 안 했어.
테스트 프롬프트:
크로노 트리거 스토리를 아주 구체적인 방식으로 설명해줘. 시작부터 특정 지점까지만 말해주면 돼. 그 지점 이후의 스토리는 이어갈 필요 없어. 게임이 시작될 때 무슨 일이 일어나는지, 주인공의 첫 위치는 어디인지, 그리고 첫 번째 목표가 뭔지 알려줘. 첫 번째 목표는 마르를 만나는 시점까지라고 치자. 이 목표에 어떻게 도달하는지 설명해줘. 예: 크로노가 ...에 의해 깨어나고, 그다음 이걸 하고, 저걸 하고, 원래 있던 곳에서 이 장소에 도착한다. 그는 ...를 지나가야 하고, 그러다 마르를 만나서 ...가 일어나고 그들은 함께 여행을 계속한다. 설명은 여기서 끝내.
보통 스토리는 그럴싸하게 들리고 모델도 100% 확신에 차서 말하지만, 군데군데 오류가 엄청 많아. 마을 이름, 캐릭터, 목표, 시간대를 빼먹거나, 아예 물어보지도 않은 내용을 스포일러하기도 해. 예를 들면 시간 여행을 언급하거나, 아직 밝혀지지도 않은 캐릭터가 공주라는 걸 스포하는 식이지. ...등등.
이 문제를 벤치마크하기 위해 예상 출력값과 얼마나 일치하는지를 나타내는 정확도 지표를 정의했어.
핵심 평가 질문:
-
크로노가 집에서 깨어나는가?
-
위층에 있는가?
-
크로노가 늦잠을 잤는가?
-
엄마가 크로노를 깨웠는가?
-
고향 이름인 트루스 마을(Truce village)이 언급되었는가?
-
천년제(Millenial fair)가 언급되었는가?
