2x GX10으로 DeepSeek flash v4 구동 시 67-84 t/s 달성

셋업은? 양자화는?

다음번엔 제목에 양자화 정보 좀 넣어줘

NVFP4

여기 글 쓸 평판이 부족해서... LLM 성능에 대해 질문 좀 할게. 토큰 예측이나 초당 토큰 생성 같은 글은 많이 봤는데, 이게 진짜 지표가 맞나? DeepSeek V4 Flash 0731(DSPark, 맥 스튜디오 + llama.cpp)이 22~28 TPS 정도 나오는데, LLM이 추론을 엄청 많이 하더라고. 그래서 TPS 같은 지표보다는 작업 복잡도/초당 실행 속도를 확인하는 게 맞지 않을까 싶어.

와 진짜 공감함. 나도 이 짓에 돈 엄청 썼는데 솔직히 좀 후회됨. 모델들이 기본적인 작업 하는 데도 한참 걸려. TPS가 병목이 아님. 추론 과정이 실용성을 다 깎아먹음. 클라우드 구독료 아끼려다 시간 다 날리는 꼴임. 로컬에서 이 정도 성능 내는 건 좋지만...