r/LocalLLaMA•약 20시간 전•126•52
이걸 '괴물(Monstrosity)'이라고 부르기로 했다. 채굴용 BC-250 보드 5개로 Qwen3-Coder-Next Q4 40 tok/s 달성
I’m calling this the Monstrosity. 5 ex mining BC-250 boards Qwen3-Coder-Next Q4 at 40 tok/s
핵심 요약
채굴용 BC-250 보드 5개를 연결해 800달러 미만의 비용으로 71GB VRAM 환경을 구축하고 40 tok/s의 성능을 구현함.
- 하드웨어 구성 — 채굴용 BC-250 보드 5개를 활용해 71GB VRAM 확보함.
- 성능 지표 — 30k 컨텍스트에서 40 tok/s, 100k 컨텍스트에서 30 tok/s 속도 기록함.
- 비용 효율성 — 800달러 미만의 저렴한 구축 비용 대비 전력 소모는 매우 높음.
- 네트워크 연결 — 보드 내장 1Gb 이더넷을 통해 데이터 통신을 수행함.
asrock 12유닛 케이스에 보드 하나는 메인으로 돌리고 나머지는 헤드리스로 구성해서 쓰는 중임. VRAM은 71GB 정도 잡히네. 지금 30k 컨텍스트에서 40 tok/s 나오고, 100k까지 올리면 30 tok/s 정도로 떨어짐. 이거 전부 보드에 기본으로 달려있는 1gb 이더넷으로 돌리는 중이야. 이런 보드 2개 더 있는데, 아마 그것까지 다 연결해서 3.8 flash 모델이 실사용 가능한 속도로 돌아가는지 확인해 볼 생각임. 전력 효율은 개판이지만, 총비용은 800달러도 안 들었음.
