r/LocalLLaMA•5개월 전•40•30
와 이거 진짜 재밌네요!
Guys this is so fun!
핵심 요약
로컬 LLM 구동에 입문한 사용자가 다양한 기기에서 모델을 돌려보며 느끼는 즐거움을 공유함.
- 로컬 LLM 구동 — MacBook과 워크스테이션을 활용해 다양한 모델을 로컬 환경에서 실행함.
- 모델 탐색 — Qwen, Llama, Deepseek 등 여러 모델을 다운로드하여 성능을 테스트 중임.
- 하드웨어 활용 — LM Studio와 LM Link를 사용하여 여러 기기를 연결해 AI 환경을 구축함.
- 커뮤니티 조언 — 숙련된 사용자들로부터 Huggingface 활용법과 추천 모델에 대한 정보를 얻음.
직접 모델을 돌리고 있습니다. vLLM을 실행하는 데 좀 애를 먹어서 24GB MacBook Air에서 사용하던 LM Studio로 내려왔습니다.
이제 두 노트북을 거쳐 AI 워크스테이션 RTX Pro 6000 Blackwell까지 LM Link를 연결했습니다. 제 폰은 LM Mini로 돌리고요. 진짜 멋지고 이제 막 시작하는 단계입니다.
현재 Qwen3.5 9B를 돌리고 있고 Qwen3.6 27B와 35B A3B를 다운로드 중입니다. Llama 3.3 70B Instruct Q8, Deepseek R1 Distill Q8, 3.3 70B Q4, 그리고 3.2 11B Vision Instruct도 가지고 놀 생각입니다.
와, 정말 살아있길 잘했다는 생각이 드네요!
