r/AI_Agents•29일 전•4•5

GTX 1080에서 로컬 LLM 돌리려고 하는데, 추천 좀 해줄 사람?

Local LLM on a GTX 1080, any suggestions ?

핵심 요약

GTX 1080 환경에서 로컬 LLM을 효율적으로 구동하기 위한 모델 및 설정 팁을 공유함.

모델 최적화 — 4비트 양자화된 7B 모델을 사용해 VRAM 부족 해결함.
하드웨어 설정 — GPU 오프로드 활용 및 컨텍스트 길이를 4k 이하로 제한함.
대안 모델 — 터너리 모델이나 Qwen 35b 같은 고성능 모델 활용함.

참고한 사이트 링크는 첫 번째 댓글에 달아놨음.

이거 찾았는데, 다들 자기 집 컴퓨터 세팅에서 효과 좀 봤던 팁이나 조언 좀 줄 사람 있냐? 뻔한 하드웨어 업그레이드 말고, 이 세팅에서 실제로 써보니까 괜찮더라 싶은 거 뭐 있음?

원문

커뮤니티 목록

r/AI_Agents•29일 전•4•5

GTX 1080에서 로컬 LLM 돌리려고 하는데, 추천 좀 해줄 사람?

Local LLM on a GTX 1080, any suggestions ?

핵심 요약

GTX 1080 환경에서 로컬 LLM을 효율적으로 구동하기 위한 모델 및 설정 팁을 공유함.

모델 최적화 — 4비트 양자화된 7B 모델을 사용해 VRAM 부족 해결함.
하드웨어 설정 — GPU 오프로드 활용 및 컨텍스트 길이를 4k 이하로 제한함.
대안 모델 — 터너리 모델이나 Qwen 35b 같은 고성능 모델 활용함.

참고한 사이트 링크는 첫 번째 댓글에 달아놨음.

주요 댓글

r/ai_agents

GTX 1080 환경에서 로컬 LLM을 구동하기 위한 구체적인 모델 추천과 설정 팁이 공유됨.

어떤 모델 돌리려고? 8GB VRAM이면 4비트 양자화된 7B 모델은 쥐어짜서 돌릴 수 있어. 빡빡하긴 해도 돌아감. 내 1080에 llama.cpp 쓰니까 초당 15토큰 정도 나오더라. 엄청 빠른 건 아니지만 가지고 놀기엔 충분함. 최신 Mistral 파인튜닝 모델들도 괜찮게 돌아가는데, 전부 GPU로 오프로드하고 컨텍스트는 최대 4k로 유지해. 안 그러면 RAM으로 스왑되면서 엄청 느려짐.

난 32GB DDR4 램이랑 GTX 1080으로 Qwen 3.6 35b a3b 모델을 초당 10토큰으로 돌려봤어. 더 빠르게 돌리는 사람들도 있더라.

터너리(ternary) 모델 한번 확인해 봐.

원문r/AI_Agents