의사결정 모델 벤치마킹은 재밌다 - Clef Q8 vs Jev

에이, 그건 한 번에 하나의 결정만 비교하는 거잖아. Jev는 한 번의 요청으로 상태에 대한 수천 개의 결정을 처리할 수 있음.

그 테스트에서 나온 사실 중 하나는 일반 봇 21개가 Clef 봇을 압살했다는 거임. 비슷한 테스트에서 Jev는 5090 군단을 가지고 있지 않는 한 로컬 모델로는 하나밖에 못 돌리지만, 적절한 하네스를 사용해 각 봇의 상태를 피드해주면 봇 군단을 지휘해서 21개의 일반 봇을 상대로 이길 수 있음. 내 연구 결과는 이런 로컬-Jev 비교에서 절대 인정하지 않는 많은 미묘한 차이를 보여줌: https://www.reddit.com/r/LocalLLaMA/comments/1wxcn49/comment/pdu9kuu/?context=3&utm_source=share&utm_medium=web3x&utm_name=web3xcss&utm_term=1&utm_content=share_button

typesafe 문서의 흥미로운 섹션: https://docs.typesafe.ai/patterns/fan-out

진짜 멋지다. 이 대결은 실제 게임에서 진행되는 거야, 아니면 캐시/로컬 버전 같은 거야?

로컬이나 프라이빗 서버여야 함. 실제 게임에서 하면 바로 밴당할걸.

이해가 안 가네. 게임이 어떻게 이 모델들한테 언어 형태로 전달되는 거임?

멋지네

gg ez

/티배깅

이걸로 PvP 클랜전 열면 재밌겠는데, 물론 Wild에서 말이야.

이런 테스트는 어떻게 돌리는 거임? clef flash 다운받아서 semif-openjev 레포로 돌려봤는데 이미지 스테이트 지원을 안 하네.

진짜 멋지다