Deepseek V4 Flash-0731을 130-150 tks로 돌리는 지루한 방법 - PLX88096 스위치 2개로 연결된 16x5060ti 16GB

그다음엔 각 PLX 클러스터 안에서 커스텀 all-reduce가 돌아가게 하고, 파이프라인 병렬 처리를 위해 DSpark가 작동하도록 대충 코딩 좀 갈겨줌.

텐서 병렬 8, 파이프라인 병렬 2일 때:

500k 컨텍스트 사용 가능. 500k 컨텍스트까지 pp 약 4000, tg 100-150 (DeepSeek Harness 기준 평균 140)

텐서 병렬 4, 파이프라인 병렬 4일 때:

전체 1M 컨텍스트 사용 가능. 500k 컨텍스트까지 pp 약 7000, tg 80

이 세팅 다 맞추는 데 RTX6000 Pro 0.6개 값 정도 씀.

빌드를 깎아내리려는 건 아님. 멋지긴 해. 근데 전력 효율이 진짜 끔찍하네. 아이들 상태에서만 350~500W라니. 언더볼팅하고 최적화 설정을 다 해도 부하 걸리면 2kW는 그냥 먹겠는데.

해냈다는 성취감용 빌드로는 멋지지만, 이걸 매일 실사용하기엔 좀 아닌 듯.

...6000 Pro랑 비교하면 성능이 어느 정도임?