r/LocalLLaMA•4개월 전•7•27

LLM 플래너: 예산/모델/용도에 맞는 하드웨어 구성 및 모델 추천 가이드

LLM planner - pick a rig for your use-case/model/budget, or pick models for your rig. 60+ builds, 50+ models, 130+ cited t/s sources, 150+ reviewer YouTube videos, idle+active watts, multi-region prices, regular updates.

핵심 요약

사용자의 예산과 용도에 맞춰 최적의 LLM 하드웨어와 모델을 추천해 주는 가이드 도구입니다.

하드웨어 구성 가이드 — 예산과 용도에 따른 60개 이상의 빌드 구성과 모델별 성능 데이터를 제공함.
역방향 모델 추천 — 보유한 하드웨어에 맞는 최적의 오픈 웨이트 모델을 성능별로 랭킹화함.
실시간 벤치마크 데이터 — 130개 이상의 출처와 150개 이상의 리뷰 영상을 통해 토큰 처리 속도와 전력 소모를 분석함.
공공 데이터 저장소 — 모든 벤치마크 데이터를 깃허브에 공개하여 누구나 수정 제안 및 기여가 가능함.

TL;DR: 인터넷 정보를 수집하여 LLM 모델/하드웨어 선택 가이드를 만들었습니다. 두 가지 방향으로 접근합니다:

"용도/모델/예산에 맞춰 어떤 장비를 사야 할까?"
"3090 / M3 Max / DGX Spark / Strix Halo / R9700을 가지고 있는데, 뭐가 잘 돌아갈까?"

장비와 LLM을 나란히 비교하는 모드도 있습니다. 토큰/초(t/s) 수치는 출처를 명시하며, 모든 빌드는 실제 리뷰어의 유튜브 영상으로 연결됩니다.

제작 이유: 5090, Spark, Strix Halo 중 무엇을 살지 결정해야 했습니다. 결국 ASUS의 Spark로 결정했죠. 구글링하러 사이트를 나갈 필요가 없도록 만들고 싶었습니다.

포함된 내용:

60개 이상의 다양한 빌드 구성, 플러그 앤 플레이 온/오프 스위치, 데이터센터 온/오프 스위치
모델별 Q2/Q4/Q5/Q8에서의 디코드 tok/s + 프롬프트 처리 tok/s
100K 프롬프트 처리 시 첫 토큰까지 걸리는 시간
유휴 및 활성 전력 소모량(와트)
지역별 중고 및 신품 가격
빌드 전반에 걸쳐 링크된 150개 이상의 리뷰어 유튜브 영상 (리뷰를 보고 직접 판단 가능)
리더보드, 모델 카드, llama.cpp 벤치마크 스레드, Tom's Hardware, 그리고 이 서브레딧 등 130개의 출처
역방향 모드: 하드웨어를 입력하면 채팅/코딩/에이전트/추론 성능별로 순위가 매겨진 오픈 웨이트 모델을 확인 가능 (Gemini 3.1 Pro, GPT-5.5, Sonnet 4.6, Opus 4.7을 상한선 기준으로 표시)
데이터는 최소 주 1회 업데이트

제공하지 않는 기능:

거주 지역의 최저가 링크
하드웨어에서 얻을 수 있는 절대적인 최고 tps (퀀트/소프트웨어, 패치 및 업데이트에 따라 결과가 다를 수 있음)

링크: https://llmrequirements.com

모든 데이터는 공개 저장소로 내보내집니다.
https://github.com/Trenin-Labs/LlmRequirements
웹사이트에 벤치마크를 제출하거나 이 공개 저장소의 GitHub 이슈를 통해 부정확한 정보를 보고할 수 있는 링크가 있습니다.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•7•27

LLM 플래너: 예산/모델/용도에 맞는 하드웨어 구성 및 모델 추천 가이드

핵심 요약

사용자의 예산과 용도에 맞춰 최적의 LLM 하드웨어와 모델을 추천해 주는 가이드 도구입니다.

하드웨어 구성 가이드 — 예산과 용도에 따른 60개 이상의 빌드 구성과 모델별 성능 데이터를 제공함.
역방향 모델 추천 — 보유한 하드웨어에 맞는 최적의 오픈 웨이트 모델을 성능별로 랭킹화함.
실시간 벤치마크 데이터 — 130개 이상의 출처와 150개 이상의 리뷰 영상을 통해 토큰 처리 속도와 전력 소모를 분석함.
공공 데이터 저장소 — 모든 벤치마크 데이터를 깃허브에 공개하여 누구나 수정 제안 및 기여가 가능함.

TL;DR: 인터넷 정보를 수집하여 LLM 모델/하드웨어 선택 가이드를 만들었습니다. 두 가지 방향으로 접근합니다:

"용도/모델/예산에 맞춰 어떤 장비를 사야 할까?"
"3090 / M3 Max / DGX Spark / Strix Halo / R9700을 가지고 있는데, 뭐가 잘 돌아갈까?"

장비와 LLM을 나란히 비교하는 모드도 있습니다. 토큰/초(t/s) 수치는 출처를 명시하며, 모든 빌드는 실제 리뷰어의 유튜브 영상으로 연결됩니다.

포함된 내용:

60개 이상의 다양한 빌드 구성, 플러그 앤 플레이 온/오프 스위치, 데이터센터 온/오프 스위치
모델별 Q2/Q4/Q5/Q8에서의 디코드 tok/s + 프롬프트 처리 tok/s
100K 프롬프트 처리 시 첫 토큰까지 걸리는 시간
유휴 및 활성 전력 소모량(와트)
지역별 중고 및 신품 가격
빌드 전반에 걸쳐 링크된 150개 이상의 리뷰어 유튜브 영상 (리뷰를 보고 직접 판단 가능)
리더보드, 모델 카드, llama.cpp 벤치마크 스레드, Tom's Hardware, 그리고 이 서브레딧 등 130개의 출처
역방향 모드: 하드웨어를 입력하면 채팅/코딩/에이전트/추론 성능별로 순위가 매겨진 오픈 웨이트 모델을 확인 가능 (Gemini 3.1 Pro, GPT-5.5, Sonnet 4.6, Opus 4.7을 상한선 기준으로 표시)
데이터는 최소 주 1회 업데이트

제공하지 않는 기능:

거주 지역의 최저가 링크
하드웨어에서 얻을 수 있는 절대적인 최고 tps (퀀트/소프트웨어, 패치 및 업데이트에 따라 결과가 다를 수 있음)

링크: https://llmrequirements.com

주요 댓글

r/localllama

사용자들은 하드웨어 선택 가이드의 유용성을 인정하면서도, 실질적인 벤치마크 방식이나 데이터의 현실성에 대해 다양한 피드백과 회의적인 의견을 제시함.

쓰레기

난 그냥 AI한테 AI 쓰는 법 계속 물어볼래. 지금까지는 이걸로 잘 해결됐거든.

그거랑 AI한테 이 서브레딧에서 설정값 찾아달라고 하는 거.

그거 (유료?) API 뒤에 잠겨 있는 거 아님? 자세히 본 적은 없는데 있으면 좋긴 하겠네.

AI 에이전트한테 특정 서브레딧만 검색 범위로 잡으라고 시킬 수 있어. Hermes나 openclaw, opencode 같은 로컬 에이전트 쓰면 검색할 때 매달 무료 요청 횟수 주는 brave mcp도 있고.

프롬프트를 잘 짜서 LLM이 어떻게 생각하는지 파악하면 이게 얼마나 유용한지 놀랄걸. 그게 대부분의 프롬프트톤의 기본이거든. 랜덤 모델을 받았을 때 스킬 같은 거 없으면 이게 처리량이나 목표 달성을 고민하게 만드는 가장 쉬운 방법임.

솔직히 무슨 말인지 하나도 모르겠네.

그러니까 원글 작성자가 AI한테 AI 작동 원리를 계속 물어보라고 했잖아. AI한테 어떻게 하면 너랑 잘 대화할 수 있는 좋은 프롬프트를 만들 수 있냐고 물어보면, 보통 지금 쓰는 LLM에 딱 맞는 걸 만들어 줘. 프롬프트톤은 기업 같은 데서 누가 AI를 제일 잘 쓰나 보려고 여는 대회고. Skills는 LLM IDE에 추가할 수 있는 하네스 같은 건데, 설정하는 데 시간이 걸리잖아. 근데 프롬프트톤은 시간 제한이 있어서 그런 컨텍스트를 짤 시간이 없지. 처리량(Throughput)은 초당 토큰 처리량을 말하는 거고...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

오, 이해했어. 스킬 튜닝할 땐 유용하겠네. 근데 단순 질의응답 상황에선 그냥 LLM이 반복적으로 알아서 하게 두는 게 더 빠름.

단순 질문엔 그럴 수 있겠지. 난 코드 베이스 변환이나 반복 작업 같은 데 LLM을 쓰는데, 그런 경우엔 그 방식은 최악임.

난 보통 그런 복잡한 케이스엔 작고 쉬운 작업부터 던져서 해결하게 한 다음, 어떻게 했는지 물어보고 지침을 만들라고 시켜. 전체가 다 해결될 때까지 반복하는 거지.

맞아, 내가 말한 게 그거야. 스킬이랑 에이전트 코딩 쓰면 아주 쉽게 할 수 있지. 그냥 맨땅에 헤딩하듯 AI 쓰면 그런 결과가 안 나오니까, 원글 작성자가 말한 프롬프트가 사실 좋은 거야.

피드백 좀 남길게 (다 내 의견일 뿐이라 틀릴 수 있음): 1) 피커, 모델, 빌드 전체를 한 페이지에 몰아넣고 하드웨어/비교 페이지를 따로 쓰는 건 좀 이상함. 2) 벤치마크 제출 페이지나 폼을 못 찾겠음. 3) 전력 소모량 기반으로 빌드별 백만 토큰당 비용을 추산해 보면 재밌을 듯 (쉽지 않고 실용성도 낮겠지만 개인적으로 흥미로움).

전력 소모랑 지역별 가격이 생각보다 훨씬 중요함. 하루 8시간씩 돌리거나 지역 전기 요금 고려하면 싼 장비가 나중에 골치 아파지거든. RAM 대역폭이랑 컨텍스트 길이도 표시해 줬으면 좋겠어. 저 두 개 없는 t/s 수치는 보통 거짓말이거든.

솔직히 말해서 여기 나온 하드웨어 설정 중 일부는 K 퀀트나 llama.cpp를 실사용할 것 같지 않음. 전에도 말했지만 MI3xx 워크스테이션을 GPU 하나만 쓰는 경우는 없을걸. 벤치마크도 서버 GPU 8개 중 하나만 쓴 결과일 테고.

원문r/LocalLLaMA