r/LocalLLaMA•3개월 전•525•128
어.. 자기야, 오늘 저녁 배달 시켜 먹는 거 어때?
Uh.. Honey, how do you feel about takeout?
핵심 요약
주방 가스레인지 위에 구축한 448GB VRAM 규모의 거대 GPU 리그와 그로 인한 유머러스한 상황
- 압도적인 하드웨어 — RTX 6000, 3090, 5090을 조합하여 총 448GB의 VRAM을 확보함.
- 주방의 혼돈 — 가스레인지 후드 아래 설치된 기괴한 비주얼로 인해 요리 대신 배달 음식이 강제됨.
- 성능 및 목적 — MiniMax M3 모델로 100만 컨텍스트 구현을 시도하는 개념 증명(POC) 단계임.
- 안전 및 효율 논쟁 — 채굴 랙 사용 권장과 전력 소비 및 화재 위험에 대한 우려가 제기됨.
-
2x RTX Pro 6000 Max-Q (96GB)
-
8x RTX 3090 (24GB)
-
2x RTX 5090 (32GB)
-
파워 서플라이(PSU) 3개
-
128GB DDR5 SDIMM RAM (4채널)
-
Threadripper 9960x
-
Ryobi 휴대용 선풍기 1개
-
거액의 Uber Eats 영수증 1개
448GB VRAM
VLLM에서 2개 TP 그룹의 PP를 통해 MiniMax M3를 AWQ-INT4로 구동 중.
단일 스트림당 ~30 tp/s
배치 시 ~960 tp/s
사용자 한 명당 100만 컨텍스트 가능, 하지만 이상적으로는 4배 동시 접속을 원함. 컨텍스트가 어디까지 갈지... 아니면 내 결혼 생활이 어디까지 갈지 미지수...
