4개의 Radeon AI PRO R9700에서 DeepSeek-V4-Flash-0731 구동: '거부됨'이라던 4카드 구성이 실제로 작동하며 초당 약 79토큰 기록

와, 4카드 스택 진짜 깔끔하네요. 땋은 케이블들이 전체적인 구성을 딱 잡아주네요.

671B 모델 전체를 돌리면서 초당 79토큰이라니 미쳤네요. 이 정도 규모 모델에서 거의 실시간 수준이잖아요.

작성자가 '이거 4카드에선 고장 났음'이라고 경고했던 게 사실은 시뮬레이션상의 오류였다는 게 좀 웃기네요.

96기가바이트나 되는 가중치를 GPU에 밀어 넣는 걸 생각하면 1분 정도의 로딩 시간은 나쁘지도 않네요.

R9700 4개를 동시에 풀가동할 때 전력 소모가 어느 정도일지 궁금하네요.

내 것보다 훨씬 낫네. 나도 저 사람의 PCIe 레인 환경을 가질 수 있다면 좋을 텐데.

내일 킬로와트 측정기 꽂아서 확인해 볼게... 근데 엄청 먹긴 해... 이 방에 차단기랑 별도 회로 추가하기 전에는 차단기가 꽤 자주 내려갔었거든 ㅋㅋ

솔직히 말하자면... 카드당 전력 소모를 300W에서 211W로 제한하긴 했어... 그 이상은 추론 토큰 생성 속도에 별 의미 있는 영향을 안 주는 것 같더라고.

GPU 처짐은 없어. 금속 백플레이트랑 금속 슬롯 마운트가 있는 진짜 서버 보드거든. 애초에 워크스테이션용 블로워 카드라 높이도 꽤 낮고... 나중에 어떻게든 브래킷을 달고 싶긴 한데, 이런 작은 깊이의 카드용으로 나온 게 없어서 직접 설계해야 할 것 같아... 다들 거대한 4슬롯 5090 같은 거나 슬롯 위로 튀어나오는 카드만 생각하니까 말이야. 보면 브래킷 마운트는 있는데 브래킷이랑 카드 사이에 1.5인치 정도 공간이 떠 있어.

지금 내가 제일 좋아하는 치즈 같은(?) 테스트 중 하나로 오픈 코드를 돌려보고 있어...

"맥OS 터미널 창(또는 리눅스 터미널)에서 아이코닉한 매트릭스 영화의 빗줄기 화면 보호기를 만드는 파이썬 스크립트를 작성해 줘. 화면을 꽉 채워야 하고, 빗줄기 시작 부분은 밝고 끝으로 갈수록 어두워지는 색상 그라데이션이 있어야 해. 터미널 크기가 조절되어도 대응할 수 있어야 하고... 다 끝나면 결과물을 다시 한번 확인해 봐. 인터넷 검색을 해서 이 화면 보호기가 어떤 모습이어야 하는지 이해해도 좋아. 다 끝나면 다시 한번 확인해 봐."