POV 8GB VRAM + 16GB RAM folks checking locallama everyday:
저사양 하드웨어 유저들이 효율적인 모델을 기다리며 각자의 구동 경험과 정보를 공유하는 모습입니다.
Qwen4 35B A3B나 그 비슷한 거라도 나오길 바랄 뿐이다 (35B에서 70B+까지 성능 뽑아내려고 ngrams 더 넣는 식으로... 그전까진 내 사랑 Gemma 26B QAT나 써야지 (26 Tg/s는 확실히 뽑아주니까)...
8GB VRAM과 16GB RAM이라는 제한적인 환경에서 LLM을 구동하려는 사용자들의 고충과, 이를 둘러싼 커뮤니티의 자조적인 농담 및 하드웨어에 대한 추억이 공유되고 있습니다.
제목: "8GB VRAM으로 XYZ 모델 돌리기 가능!"
내용: "...시스템 RAM에 엄청나게 오프로딩한 뒤에..."
아니면 뉴비 참교육하는 놈들: "난 서버에서 뜯어온 이상한 모듈이랑 작업에 따라 냉각수를 동적으로 교체하는 산업용 냉장고 쿨링 시스템을 쓴 커스텀 커널, 삼중 샌드박스 도커 스택으로 120 t/s 뽑는데? ;)"
잠깐, 다들 홈랩에 이코노마이저 쿨링 정도는 다 있는 거 아님?
DDR5* RAM도 엄청나게 꽂아야지, 안 그러면 모델 속도 한 자릿수 tpms로 떡락함 ㅋㅋ
r/lowendlocalai
유용한 서브레딧 같네, W 댓글이다.
맞아, 그리고 난 로컬 AI 돌리면서 컴퓨터로 다른 작업도 하고 싶거든. 결론만 말하자면 32GB RAM에 12GB VRAM으로 LFM2.5 쓰고 있어.
3060 하나 더 살 때까지는 딱 내 모습이었음.
이거 한번 봐봐: https://huggingface.co/XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B Q6면 충분히 돌아갈 거야!
그리고 Gemini 4랑 같이 Gemma가 나온다면, 계속 지켜봐야지!
Engram 쓴 Gemma 5 나오면 진짜 미칠 듯
아 맞다 나도 4GB 750 Ti에 16GB DDR3, i5-4590 쓰지
2024년에 i3 530+8GB DDR3+Quadro P1000으로 Llama 70B 돌리려고 발악했던 거 생각나네
비운의 16GB 4060ti 쓰는 사람들을 위한 midendlocalai 같은 거 없냐?
내 생각엔 ling 3.0 tiny가 더 나을 것 같음. 그리고 VRAM 안 쓸 거면 Gemma에 mmap 써서 돌리는 게 답일 수도 있음 (~200t/s pp/s, 다른 프로세스가 RAM 50% 점유한 상태에서 23tg/s, VRAM은 거의 모델용으로만 씀)
너무 무시하지 마라, 지금 시대 요구사항엔 안 맞을지 몰라도 그동안 얼마나 많은 작업을 해냈는지 생각하면 존중받을 자격 있음
범용성 대신 특정 하드웨어와 모델에 최적화된 소형 추론 엔진들이 등장하며 AI 추론 효율을 극대화하는 추세에 대한 논의.
범용성 대신 특정 하드웨어와 모델에 최적화된 소형 추론 엔진들이 등장하며 AI 추론 효율을 극대화하는 추세에 대한 논의.
Opus 5.5 모델의 성능 저하 여부를 검증하기 위한 'LiveNerf' 프로젝트가 10일간의 기준점 데이터를 확보함.
Opus 5.5 모델의 성능 저하 여부를 검증하기 위한 'LiveNerf' 프로젝트가 10일간의 기준점 데이터를 확보함.
Claude Code의 뛰어난 성능이 개발자로서의 성취감과 열정을 앗아간다는 베테랑 개발자의 고뇌.
Claude Code의 뛰어난 성능이 개발자로서의 성취감과 열정을 앗아간다는 베테랑 개발자의 고뇌.