r/LocalLLaMA•약 3시간 전•30•8
“괴물” 업데이트: BC-250 보드 6개 클러스터
Update on the “Monstrosity”. 6 BC-250 board cluster
핵심 요약
BC-250 채굴 보드 6개를 활용해 로컬 AI 환경을 구축한 사용자의 실험적인 하드웨어 셋업 공유.
- 하드웨어 구성 — BC-250 보드 6개와 Asrock 4U12G 케이스를 활용함
- AI 성능 테스트 — Qwen Next Flash 및 Llama 모델로 100k 컨텍스트 환경 구현
- 연결 방식 — Vulkan과 RPC를 사용하여 1Gb 이더넷으로 통신함
- 냉각 솔루션 — 박스 위에 팬 3개를 올린 임시방편 형태의 흡기 구조 사용
이건 asrock 4u12g 케이스에 들어있던 bc-250 ex 채굴 보드 6개야. 이것저것 테스트해 본 결과, 지금 내가 제일 만족하는 세팅은 보드 4개로 Qwen Next Flash IQ2_XS를 100k 컨텍스트로 돌리는 건데, 짧은 생성 시 28 tok/s 정도 나오고 50k 컨텍스트에 115 ppt 정도면 24 tok/s 찍히더라. 나머지 보드 2개는 3.6 35b q4 모델을 100k 컨텍스트에 450 ppt로 돌리는데 60 tok/s 나옴. 전부 1gb 이더넷으로 vulkan이랑 rpc 써서 llama로 돌리는 중이야.
이 괴물 같은 놈 더 잘 써먹을 방법 아는 사람 있으면 뭐든 알려줘. 보드들 잔뜩 사서 되팔고 남은 거 처치 곤란이었는데, 로컬 AI는 처음 해보거든. 진짜 존나 재밌네. 아, 그리고 위에 팬 3개 달린 거 박스 맞음. 흡기용으로 쓴 거야.
