r/LocalLLaMA•4개월 전•88•67
BlackBeard의 AI 함대 소개
Meet the Fleet of BlackBeard
핵심 요약
다양한 하드웨어를 조합해 구축한 AI 홈랩 인프라와 향후 확장 계획을 공유합니다.
- 하드웨어 구성 — i3부터 스레드리퍼까지 다양한 CPU와 GPU를 활용한 AI 노드 구축.
- 운영 체제 — 모든 노드에서 Linux Mint 22를 사용하여 통일성 확보.
- 확장 계획 — 10GbE 네트워크로 노드를 연결하여 오케스트레이터 서버 구축 예정.
- 하드웨어 재활용 — 기존 부품을 적극 활용하여 비용 효율적인 AI 인프라 구성.
현재 웹사이트가 다운되었습니다. 죄송합니다.
현재 제가 사용하는 전체 AI 홈랩 구성입니다:
#0 i3 7100, 32GB DDR4, 2x8TB 아카이브 NAS (모델들을 여기에 보관합니다. 필요하면 다운로드할 필요 없이 삼바 NAS를 통해 바로 불러올 수 있습니다.)
#1 Ryzen 5600, 64GB DDR4, GTX 1070 (Privateer, 35B a3b 모델을 돌리는데 놀라울 정도로 빠릅니다.)
#2 Ryzen 5950x, 128GB DDR4, RTX 5060 Ti, Strix X570F, Asus TUF GT502 (Manowar, 문제없이 5060 Ti 2개로 확장 가능합니다. 3090 2개로 시도해 봤는데 과열되더군요.)
#3 Ryzen 9950x3d, 256GB DDR5, RTX 5090, Gigabyte AI Top B850, Corsair Air5400 (선장의 배. 3090 하나 더 추가할 수 있는데, 테스트해 보니 잘 작동합니다.)
#4 Threadripper 1950x, 128GB DDR4, 4 x 3090, Gigabyte Designare X399 (크라켄! 아직 조립 중이라 라이저 케이블 도착을 기다리고 있습니다.)
전부 리눅스 민트 22에서 돌아갑니다. 나중에 10GbE 카드를 사서 전부 연결한 뒤 오각형 형태로 묶어서 악마 군주라도 소환해 볼까 합니다.
