r/LocalLLaMA•약 2개월 전•810•529논쟁

내 가정용 PC에서 최첨단 모델인 DeepSeek-V4-Flash-0731을 돌릴 수 있다니 믿기지가 않는다. 미쳤어!

I CANNOT believe I've got DeepSeek-V4-Flash-0731, a frontier model, running on my home PC. Insane!

핵심 요약

24GB VRAM을 갖춘 가정용 PC에서 최첨단 AI 모델을 구동하는 것에 대한 놀라움과 '평균적인 PC'의 기준에 대한 논쟁.

최첨단 모델 구동 — 24GB VRAM 환경에서 고성능 AI 모델을 로컬로 실행함.
평균 PC 기준 논쟁 — 24GB VRAM을 '평균'이라 부르는 것에 대해 사용자들 간 의견이 갈림.
기술 발전 속도 — 20개월 만에 클라우드 전용 모델을 개인 PC에서 돌릴 수 있게 됨.

진짜 미친 수준임. 20개월도 안 돼서 엄청 비싼 클라우드 모델만 쓰던 시절에서, 24GB VRAM이라는 아주 평범한 사양의 인텔 윈도우 PC로 DeepSeek Q3 양자화 모델을 돌릴 수 있게 됐음. 거대 기업들이 겁먹는 것도 당연함 (물론 속도는 죽처럼 느리긴 함). https://ibb.co/zTvqR8YR

원문

커뮤니티 목록

r/LocalLLaMA•약 2개월 전•810•529논쟁

내 가정용 PC에서 최첨단 모델인 DeepSeek-V4-Flash-0731을 돌릴 수 있다니 믿기지가 않는다. 미쳤어!

I CANNOT believe I've got DeepSeek-V4-Flash-0731, a frontier model, running on my home PC. Insane!

핵심 요약

24GB VRAM을 갖춘 가정용 PC에서 최첨단 AI 모델을 구동하는 것에 대한 놀라움과 '평균적인 PC'의 기준에 대한 논쟁.

최첨단 모델 구동 — 24GB VRAM 환경에서 고성능 AI 모델을 로컬로 실행함.
평균 PC 기준 논쟁 — 24GB VRAM을 '평균'이라 부르는 것에 대해 사용자들 간 의견이 갈림.
기술 발전 속도 — 20개월 만에 클라우드 전용 모델을 개인 PC에서 돌릴 수 있게 됨.

주요 댓글

r/localllama

로컬 PC에서 고성능 AI 모델을 구동할 수 있게 된 것에 대한 놀라움과 함께, 하드웨어 사양 및 최근 AI 수요로 인한 가격 상승에 대한 활발한 토론이 이어지고 있습니다.

492

평범하지 않은 부분은 램이 최소 96GB라는 거지, ㅋㅋ

249

그냥 가볍게 램 96GB에 VRAM 24GB 정도 쓰는 거잖아. 꽤 입문용이지.

여기선 항상 기준점이 바뀌네.

참고로... 1년 전만 해도 5600 DDR5 128GB가 300달러였음.

난 800달러짜리 미니 PC(램 128GB 포함)로 gpt-oss-120b를 돌렸는데, 지금 Strix Halo에서 deepseek v4 flash 돌리는 속도랑 비슷했음.

와, 32GB 램에 4GB VRAM이면 난 진짜 석기시대에 살고 있는 거네 🙃

144

VRAM 24GB도 평범한 건 아님, 통합 메모리 쓰는 기기들 제외하면 말이지.

맞아, VRAM 24GB면 아마 3090 쓰고 있을 텐데 지금 가격이 1200~1700달러 사이임.

아니면 7900XTX(가격은 3분의 2 수준)거나.

으악, 3090 더 쌌을 때 기억나는데 지금은 아니네, 미쳤다. 지금 시장에서 로컬 AI용으론 7900XTX가 좋은 선택인 듯, 젠장.

아니면 4x PCIe 슬롯에 그래픽카드 하나 더 꽂아서 gpu0 대신 gpu1로 지정했거나.

아니면 나처럼 3060 두 개 쓰는 하층민이거나.

난 7900xtx 700달러에 샀는데.

와 씨발, 언제 이렇게 가격이 급등했냐?

위아래로 서서히 가격이 오르는 중임.

AI 기업들이 2030년까지 지구상의 모든 VRAM이랑 AI급 램을 빨아들이고 있어서 램이 귀해지고 있거든. 게다가 이 카드들로 돌릴 수 있는 AI 모델 성능이 몇 달 만에 몇 배씩 좋아지고 있잖아.

다음 주에 Qwen 3.8 27b 나오는데 6개월 전 프론티어 모델급 성능 나오면 가격 더 오를 듯 ㅋㅋ. 진짜 어디까지 갈지 보는 게 미친 수준임. 난 ...

ㅋㅋ 미국으로 수출 시작해야겠네. 여기 유럽에선 1000달러 정도 하거든.

원문r/LocalLLaMA

지금 같이 볼 만한 글

r/LocalLLaMA•약 19시간 전

GPT-3 오늘부로 서비스 종료

GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.

GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.

612136

Reddit 원문

r/ChatGPT•약 18시간 전

혈당이 급락하는 동안 ChatGPT 음성 기능이 나를 계속 깨워줬어

작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.

ChatGPT voice kept waking me up while my blood sugar was plummeting

작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.

765193

Reddit 원문

r/Anthropic•1일 전

GPT 5.6 Sol이 짠 코드를 Opus 5.5가 처리했을 때 (실제 스크린샷)

Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.

When Opus 5.5 works on code written by GPT 5.6 Sol (actual screenshot)

Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.

1345220

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

492

평범하지 않은 부분은 램이 최소 96GB라는 거지, ㅋㅋ

249

그냥 가볍게 램 96GB에 VRAM 24GB 정도 쓰는 거잖아. 꽤 입문용이지.

여기선 항상 기준점이 바뀌네.

참고로... 1년 전만 해도 5600 DDR5 128GB가 300달러였음.

난 800달러짜리 미니 PC(램 128GB 포함)로 gpt-oss-120b를 돌렸는데, 지금 Strix Halo에서 deepseek v4 flash 돌리는 속도랑 비슷했음.

와, 32GB 램에 4GB VRAM이면 난 진짜 석기시대에 살고 있는 거네 🙃

144

VRAM 24GB도 평범한 건 아님, 통합 메모리 쓰는 기기들 제외하면 말이지.

맞아, VRAM 24GB면 아마 3090 쓰고 있을 텐데 지금 가격이 1200~1700달러 사이임.

아니면 7900XTX(가격은 3분의 2 수준)거나.

으악, 3090 더 쌌을 때 기억나는데 지금은 아니네, 미쳤다. 지금 시장에서 로컬 AI용으론 7900XTX가 좋은 선택인 듯, 젠장.

아니면 4x PCIe 슬롯에 그래픽카드 하나 더 꽂아서 gpu0 대신 gpu1로 지정했거나.

아니면 나처럼 3060 두 개 쓰는 하층민이거나.

난 7900xtx 700달러에 샀는데.

와 씨발, 언제 이렇게 가격이 급등했냐?

위아래로 서서히 가격이 오르는 중임.

다음 주에 Qwen 3.8 27b 나오는데 6개월 전 프론티어 모델급 성능 나오면 가격 더 오를 듯 ㅋㅋ. 진짜 어디까지 갈지 보는 게 미친 수준임. 난 ...

ㅋㅋ 미국으로 수출 시작해야겠네. 여기 유럽에선 1000달러 정도 하거든.

원문r/LocalLLaMA