제안: 개인 품질 벤치마크를 위한 커뮤니티 혁명 (그리고 왜 끝없는 토큰 속도 추구가 우리 뇌를 썩게 만드는가)

찬성함.

우리 서브레딧에서 신뢰할 수 있는 고인물들이나 상위 X% 포스터들을 모아서, 멤버들이 투표로 선정한 다양한 벤치마크를 수행하는 커뮤니티 벤치마크를 만드는 걸 생각 중이었음.

매 분기 새로운 에디션이 나오는 진화형 벤치마크 말이야. 이런 걸 설계하는 데 일가견이 있는 사람도 찾았는데, 지난 몇 주간 일이 너무 바빠서 손을 못 댔네.

이런 걸 만들 팀이 필요함.

요즘 '바이브'에 의존한 커스텀 추론 엔진이랑 양자화 모델들이 쏟아져 나오고 있어서 지금 당장 이게 필요함.

동의함. 우리도 여기서 나름대로 하고 있음:
https://selfhostedintelligence.com/en/benchmarks/rtt/v2610

참고로, 모델들을 의미 있고 귀속 가능한 방식으로 구분하는 벤치마크 작업을 만드는 게 어렵다는 걸 알게 됐음. 결국 여러 측면을 섞게 되더라고. 예를 들어 위의 RTT 벤치마크는 번역 일반화와 뉘앙스를 확인하는 게 주 목적이었는데, 지시 이행, 누출 탐지, JSON 입출력 처리 같은 게 섞여버림.

특정 언어를 쓸 때 루프에 빠지거나, 출력 중간에 추론을 시작해서 JSON을 망가뜨리는 모델들도 있음. 어떤 모델들은 너무 형편없어서 결과에서 아예 제외하기도 했어. 모든 결과가 하나같이 실패했거든. 더 세분화된 접근 방식을 보고 싶지만, 모델을 다운로드/실행하고 결과를 평가하는 데 시간이 너무 많이 걸려. 시간이 부족하네. 그래도 관심 있는 사람들과는 기꺼이 협업하고 싶음.

아이디어는 좋은데, 실제 사용 사례를 위해서는 도구 같은 것도 필요할 거야.

Hermes나 Pi 같은 공통 에이전트를 사용해서 할 건가? 아니면 그냥 파이썬 스크립트로?

전체 하네스를 사용하면 결과가 달라질 수도 있을 것 같아서.

이게 모델별, 하드웨어별 추론 엔진의 부상과 관련된 거라면, tok/s의 증가는 진정한 혁신이라고 말하고 싶음. 예전에도 아주 작은 모델들은 있었고 지금도 있음. 극단적으로 양자화된 모델들도 예전부터 있었고 지금도 있고. 그런 작은 모델들과 낮은 양자화는 엄청 빠름. 하지만 아무도 그걸 자랑하지 않음. 이유는 간단함. 작업을 수행하지 못하는 빠른 모델은 별로 쓸모가 없으니까. Ninfer, Strata, Basalt 같은 추론 엔진들은 진짜로 유용함. 내가 이 엔진들을 높게 평가하는 이유는 내가 직접 써보기 때문임. 진짜로 작동하니까. 그게 바로 내 벤치마크임.

무시하면 됨