I'm pretty close to the middle thanks to you all
로컬 LLM 구축에 빠져 지갑과 수면 시간을 잃어가는 작성자의 고민에 하드웨어 고수들이 조언을 건네는 상황입니다.
진짜 개꿀잼이었고 배운 것도 존나 많다.
근데 진지하게, 너네 때문에 내 지갑이랑 수면 시간 다 갈려 나가는 중이니까 이제 그만 좀 해라.
로컬 LLM 구축에 따른 하드웨어 성능과 비용, 그리고 예상치 못한 기술적 사양에 대한 사용자들의 다양한 의견이 오가고 있습니다.
본인 혼자 쓸 거고 15 tok/s보다 빠를 필요가 없다면, 솔직히 말해서 2014~2018년쯤 나온 DDR3 기반의 2~4 CPU 서버가 가장 가성비 좋은 선택지임. DDR3 스틱을 충분히 꽂으면 DGX Spark보다 더 높은 대역폭을 확보할 수 있고, 구형 서버용 CPU는 여러 개를 한 서버에 꽂으면 여전히 쓸만함. 이 구성이면 Qwen 3.8 Flash를 15 tok/s 넘게 돌릴 수 있음.
이건 지갑이나 수면 시간 문제에 전혀 도움이 안 되잖아! :)
그거 가성비 안 나옴. 그 구닥다리 서버들 전기세 엄청 잡아먹어.
이제 GPU 없이 Qwen 3.8 flash에서 15tps 뽑아내는 방법 좀 알려줘.
전기료를 (거의) 안 내고, 소음이나 수명 다한 하드웨어 돌리는 거 신경 안 쓴다면 그럴지도 모르지.
근데 좁은 아파트 사는 사람들한테는 이건 미친 짓이야.
난 차라리 하드웨어에 돈을 미리 쓰고 나중에 전기료를 아끼는 쪽을 택하겠어. 여름에 쓰기도 좋고. 네 셋업은 집을 사우나로 만들어버리잖아.
나도 이거 가지고 있는데 정작 제대로 써먹질 못하고 있네. 좋은 답변이라고 생각함.
그거 돌릴 소형 원자로도 잊지 말라고!
CPU 하나당 120와트라고 치면 풀로드 걸려도 600와트 정도겠네. 내 게이밍 PC보다 덜 먹는 수준임.
glm 5.3 flash로 코딩할 때 300tps 나오는 건 솔직히 좀 지리긴 함.
어떤 하드웨어로?
나도 예전에 그랬지. 근데 일반 RAM 가격이 멀티 GPU VRAM이랑 GB당 가격이 거의 비슷하다는 걸 깨달았어. 그래서 이 시장에서 손절하기로 했다. 요즘 괜찮은 입문용 AI 하드웨어 가격은 거의 차 값이나 집 계약금 수준이잖아. 역사적으로나 장기적으로나 가치가 가장 확실하게 떨어지는 시장에 돈을 붓느니 차라리 다른 데 쓰는 게 낫지. 2032년쯤 되면 저렴한 AI 컴퓨터가 나올까?
7900XTX 듀얼 구성이면 2000달러 미만으로 27B Q8 모델에서 220k 컨텍스트까지 돌릴 수 있음. 비행기 타고 가서 카드 사 오는 것보다 훨씬 싸게 먹힘.
아휴 나도 알지, 근데 CMP 170HX를 괜찮은 가격에 발견해서 말이야...
나 GPU 더 필요 없는 거 맞지?
4b라고? 뭔 소리야
이거 때문에 돈 걱정하는 거면, 설계 범위를 넘어서 굴리다가 갑자기 고장 날 수도 있는 카드 사는 건 비추임.
Aleph-Alpha에서 78B 파라미터 규모의 MoE 모델 Kolibri-1을 공개하며 커뮤니티의 관심을 받고 있습니다.
Aleph-Alpha에서 78B 파라미터 규모의 MoE 모델 Kolibri-1을 공개하며 커뮤니티의 관심을 받고 있습니다.
Claude Opus 5.5를 활용해 PDF를 교육용 애니메이션 웹북으로 자동 변환하는 오픈소스 프로젝트 'Papermorph' 소개.
Claude Opus 5.5를 활용해 PDF를 교육용 애니메이션 웹북으로 자동 변환하는 오픈소스 프로젝트 'Papermorph' 소개.
OpenAI가 GPT-6.1 Sol의 속도 개선을 발표했으나, 사용자들은 여전히 성능 저하와 타 모델 대비 느린 속도에 불만을 표출하고 있습니다.
OpenAI가 GPT-6.1 Sol의 속도 개선을 발표했으나, 사용자들은 여전히 성능 저하와 타 모델 대비 느린 속도에 불만을 표출하고 있습니다.