smolbenchmark 공개: 내 하드웨어에 딱 맞는 모델을 찾아보세요!

대부분의 모델 리더보드는 사람들이 매일 쓰는 모델을 돌리려고 고성능 GPU가 달린 서버를 기준으로 잡지.

근데 내 smolbenchmark는 정반대야. 8GB 안에 들어가는 모델들을 다음 기준으로 줄 세웠거든.

• 디코딩 속도(decode speed)

• 줄당 토큰 수(tokens per joule)

• 발열(heat)

이걸 전부 네가 가진 하드웨어에서 직접 돌려보는 거야. 대상은 이런 것들이지:

• 태블릿

• 폰

• 맥

• 젯슨(jetsons)

• 라즈베리 파이

현재 차트에는 13개 모델군이 올라와 있고, 젯슨 나노 오린 슈퍼 8GB(Jetson nano Orin Super 8GB)용 설정만 1000개 정도 돼. 지금 기기 하나에서 실시간으로 측정 중인 건 이거야:

• tok/s

• tok/J

• ITL

• 지연 시간(latency)

• 전력 지표(power metrics)

• 온도 및 배터리

네 기기에 실제로 들어갈 만큼 작은 모델들만 다뤘어. 내가 직접 벤치마크한 모든 성능 데이터는 여기 공개할 거니까, 다들 보고 자기 하드웨어에 딱 맞는 모델이 뭔지 직접 골라봐.

아, 파이랑 폰, 맥 미니는 아직 작업 중이라 데이터가 다 안 찼는데, 곧 채워 넣을 거니까 좀만 기다려!

이제 어떤 모델이 네 하드웨어에 제일 잘 맞는지, 로우 데이터랑 상세 리포트까지 싹 다 확인해 볼 수 있을 거야.

https://yuvrajsingh-mist.github.io/smolbenchmark/

(아직 한창 개발 중이야. 뭐 더 개선할 거나 아이디어 있으면 피드백 좀 많이 줘!)