Strix Halo는 하루에 기껏해야 0.48달러밖에 안 씀

400달러 더 비싼 2x Spark(Asus Ascent)는 둘이 합쳐 200와트를 먹으면서 DeepSeek V4 Flash를 단일 스트림 60tps, c16에서 300tps로 돌림. c1 1M 깊이에서도 여전히 35tps가 나옴.

Strix Halo를 1900달러에 샀던 가격으로 Spark를 구할 수 있다면 당장 갈아탈 텐데. 안타깝게도 지금 Strix랑 Spark 둘 다 가격이 미쳤음. 사실 내가 Strix 살 때만 해도 DX10을 2600달러 정도에 살 수 있었음. 그래도 Spark는 4400달러 미만으로 찾을 수가 없고, Strix는 여전히 3100달러 미만으로 찾을 수 있음. (이것도 미친 가격이지만, 곧 Gorgon Halo가 출시돼서 다들 그쪽으로 눈 돌리면 중고 Strix를 하나 더 업어와서 병렬 처리 좀 해볼 수 있길 바라는 중임...)

어디 사는지 모르겠는데, 아마존에서 대충 검색해보니 미국은 Asus Ascent가 3900달러, 유럽은 3800유로네. 아마존이 보통 최저가는 아니긴 하지만.

PCIe 포트는 4세대 x4 레인이라 대역폭이 64GB/s 정도임. 내가 Mellanox ConnectX-4 카드(듀얼 25G 포트, PCIe 3세대)를 사서 물리적 x4 레인 라이저에 연결했을 때 작동은 했지만, 사실상 두 번째 포트는 못 쓰게 됐음. 다들 계획 세울 때 조심해야 함. 이게 내가 처음 사서 연결해본 PCIe 장치였는데, 작동은 했지만 최대 성능은 안 나왔거든 :)

내가 시도해보고 싶었던 구성은 4x AI Max인데, 2번째 M.2 슬롯을 PCIe 4.0 스위치(c-payne)에 연결해서 모든 유닛을 64GB/sec로 링크하는 거야.

이론상 PCIe NTB를 통해 4개 유닛 간에 RDMA가 가능해야 하고, 텐서 병렬 처리를 돌릴 만큼 빨라야 하고, 적절한 케이블만 쓰면 안정적이어야 하고, VLLM이랑도 잘 돌아가야 하고, 모델을 돌릴 512GB 메모리도 확보되어야 하지.

근데 '해야 한다'는 가정이 너무 많고, 게다가 프레임워크 메인보드 가격이 미쳐 날뛰는 바람에 일단 보류 중임.