심문 게임 밸런싱을 위해 AI 탐정 에이전트가 AI 용의자를 심문하게 만들었습니다

님 게임 제대로 밸런싱할 데이터 센터가 부족할 듯

모델 간의 자기 일치 편향(self-agreement bias)을 조심해야 해. 탐정과 용의자가 같은 모델이나 비슷한 모델을 쓰면 서로 예측 가능한 패턴이 생기고 약점을 파악하게 됨. 탐정이 용의자의 추론 방식을 공유하니까 비현실적으로 자백을 잘 받아내게 되는 거지. 시뮬레이션을 더 현실적으로 만들려면 탐정과 용의자에 서로 다른 모델을 쓰고, 성격이나 자신감 수준, 기만 전략을 무작위로 설정하는 걸 고려해 봐.

오 대박! 대화 점수 매기는 AI를 따로 도입하는 건 생각 못 했네. (대화에서 생성된 여러 지표는 추적하고 있었지만, 그걸 평가할 AI 에이전트는 따로 안 썼거든). 아, 맞다. AI 탐정들이 증거를 너무 일관성 있게 잘 따라가서 필요한 메시지 수가 실제보다 적게 측정되는 건 나도 느꼈어. 그러니까 불확실성 요소를 인위적으로 넣으라는 거지? 음, 현재 나는 AI 대 AI 대결을 프로 플레이어가 플레이한다면 어떤 대화가 나올지 보여주는 걸로 보고 있는데...

난 Hermes 써서 몇 개 만들어 봤는데, 마인크래프트 안에서 돌아가게 했어. 지속적인 경험 기억이랑 진화하는 관계 역학 같은 게 있지. 웹 UI로 전체를 제어하면서 "쇼를 연출"하는 식이야. 진짜 재밌음.

어떤 용도로 에이전트를 만드는 거야? 흥미롭네.