r/LocalLLaMA•3개월 전•28•19
사이버 선반 - 16GB GPU 4개짜리 홈랩
The cyber shelf - 4x 16gb home lab
핵심 요약
주방용 선반을 활용해 16GB GPU 4개를 장착한 독특한 홈랩 구축기입니다.
- 홈랩 구축 — 주방용 선반을 활용하여 16GB GPU 4개를 장착한 시스템을 구성함
- 성능 지표 — llama.cpp를 통해 Qwen 모델을 구동하며 초당 45~60 토큰의 생성 속도를 기록함
- 커스텀 백엔드 — opencode를 사용하여 토큰 카운팅 및 llama.cpp 관리를 자동화함
- 구축 과정 — 라이저 케이블과 슬롯 분할을 통해 하드웨어를 연결하고 병렬 처리 환경을 실험 중임
이 서브레딧에서 오랫동안 눈팅만 하다가 여기서랑 제미나이한테서 진짜 많이 배웠음. 드디어 공유할 만한 수준의 장비를 갖추게 됨. 다들 홈랩용 랙에 대해 얘기하지만 내가 할 수 있었던 건 이 주방용 선반뿐이었음. 처음엔 16GB 카드 하나로 간만 보려다가 결국 이렇게 쌓아 올리게 됨. 이게 내 16GB 카드 4개짜리 빌드임(메인 슬롯 분할, PCIe3 1x 슬롯에 라이저 케이블 연결해서 Qwen 3.6 스펙 q4_0 디코딩하는 llama.cpp 인스턴스 2개 구동 중, 각각 컨텍스트 150k, 프롬프트 처리 1000 tok/s, 생성 45-60 tok/s). I5 프로세서에 32GB DDR4 램이지만, 거의 VRAM 위주로 돌아감. opencode를 써서 llamacpp 관리랑 토큰 카운팅을 하는 백엔드를 구축함. 계산이 맞다면(하하 잘 모르겠지만) 벌써 60달러는 아꼈다고 나옴! 모든 게 엄청나게 버그 투성이지만 그건 내 실력 문제임. 카드 한 세트에는 병렬 2, 다른 세트에는 병렬 1을 돌리고 올바른 서버로 전달하는 라우터를 만들려고 하는 중인데 지금 딱 거기까지 함. 질문 환영, 아니면 (악플)이나 제안 남겨줘!
