LLM 벤치마크, 토큰 가격, VRAM 요구 사항을 한곳에서 비교하는 사이트를 만들었습니다
I built a site to compare LLM benchmarks, token pricing, and VRAM requirements in one place
핵심 요약
LLM 모델의 성능, 가격, VRAM 요구량을 한눈에 비교하고 시뮬레이션할 수 있는 대시보드 도구입니다.
- 벤치마크 비교 — SWE-bench, LMSYS 등 실전 지표를 레이더 차트로 비교함
- 가격 대비 성능 — 토큰당 API 비용과 벤치마크 점수를 산점도로 시각화함
- VRAM 계산기 — 모델 크기와 양자화에 따른 필요 VRAM 및 실행 명령어를 제공함
- 비용 시뮬레이터 — 월간 토큰 사용량에 따른 API 비용 예측 및 자가 호스팅 효율을 분석함
다들 안녕,
새로운 모델(DeepSeek-R1이나 최근 나온 Kimi k3.1 Pro 같은 거) 나올 때마다 믿을 만한 데이터 찾으려면 여기저기 3~4군데는 뒤져야 하잖아. 리더보드 점수 확인하고, API 가격(입력/출력/캐싱) 일일이 찾아보고, 오픈 모델이 내 VRAM에 적당한 컨텍스트로 돌아갈지 감 잡는 것도 일이고.
그래서 이 모든 걸 한곳에서 볼 수 있게 깔끔한 대시보드 하나 만들었어: https://modelanalysis.si
기능은 대충 이래:
-
벤치마크 비교: 그냥 뻔한 MMLU 말고, SWE-bench Verified(실제 GitHub 이슈 해결 능력), LMSYS Arena-Hard, GPQA, 경시 수학 같은 실전 벤치마크 데이터를 가져와. 원하는 모델 골라서 레이더 차트로 겹쳐 보거나 나란히 비교할 수 있어.
-
가격 대비 성능 차트: 토큰당 API 비용 대비 벤치마크 점수가 어떤지 산점도로 한눈에 보여줌.
-
VRAM 계산기: 모델 사이즈, 양자화(4-bit부터 FP16까지), 컨텍스트 길이 선택하면 모델 가중치랑 KV 캐시에 필요한 VRAM 용량을 정확히 계산해 줘. 바로 쓸 수 있는 Ollama랑 vLLM 명령어까지 뽑아줌.
-
비용 시뮬레이터: 월간 토큰 사용량이나 프롬프트 캐시 비율 슬라이더 조절해서 월 API 요금 예상해 보고, 어느 시점부터 직접 호스팅하는 게 더 싼지 바로 확인 가능.
모델 280개 넘게 지원하고, 속도 빠르고, 로그인 필요 없고, 광고나 제휴 링크 같은 거 전혀 없어.
링크: https://modelanalysis.si
벤치마크 랩: https://modelanalysis.si/benchmarks/
하드웨어/VRAM 툴: https://modelanalysis.si/hardware/
더 추가했으면 하는 벤치마크나 피드백 있으면 언제든 말해줘.
