드디어 4번째 그래픽카드 장착 완료 (총 64GB)

근데 왜 T4임? 가성비 진짜 별로인데

EDIT: 왜 T4를 골랐는지 말하는 걸 깜빡했네 😂

원래 Dell R640 서버에 T4 3개가 들어있었어서, 폼팩터 때문에 이 카드를 선택한 거야.

지금 256k 컨텍스트에서 35b a3b 모델 돌리는 중임.

프롬프트 처리 속도는 약 1100pp, 생성 속도는 70t/s 정도 나와.

모든 카드에 kokoro랑 comfyui GPU 버전도 돌리면서 남는 VRAM 쥐어짜고 있는데, 방금 병렬 처리 설정 끝냈어.

그래서 지금은 좀 작은 모델 돌리는 중이야.

그거 별로 인상적인 속도는 아닌데, 모델 자체가 워낙 가벼운 거라. T4는 전력 소모는 낮지만, T4보다 성능이 두 배 이상 좋은 PCIe V100보다 두 배 넘게 비싸게 주고 사는 꼴이야. 아니면 Mi50 같은 것도 선택지에 있었을 텐데.

깔끔하네, 나쁘지 않아.

RAM이 그렇게 많은데, Qwen 3.8 flash next 같은 더 큰 MoE 모델로 하이브리드 추론 시도해보는 건 어때?