CMP 170HX 오버클럭으로 메모리 대역폭 1.89 TB/s 달성

몇 달 전만 해도 이거 12개씩 사서 전부 개조한 다음에 성능 안 나오는 것들은 팔아버릴 수 있었지.

대역폭은 36% 늘었는데 디코드 성능이 83%나 올랐다고? 디코드는 대역폭 제한을 많이 받고, 특히 27B 덴스 모델에서는 더 그런데 뭔가 앞뒤가 안 맞는데. 진짜 동일한 조건에서 테스트한 거 맞아?

좀 비현실적인데

메모리 대역폭 36% 올랐다고 토큰 생성 속도가 100%나 뛸 것 같진 않은데. 벤치마크 다시 해봐야 할 듯.

내 테스트에서도 비슷한 대역폭이 나왔는데 성능이 그렇게 크게 뛰지는 않았음. 내 순정 성능이 더 높았거든, 160tk/s였음.

오버클럭은 실험 삼아 해본 거라 다시 원상복구함. 전압 낮추고 전력 제한을 170w로 걸었는데 성능 저하는 없었음.

다들 세부 정보도 없이 토큰 생성 속도를 어떻게 비교하는지 모르겠음 ("너는 100 tk/s인데 나는 200 tk/s야!"). 이건 마치 같은 차의 최고 속도를 날씨, 온도, 노면 상태, 곡률, 연료 종류 등 완전히 다른 조건에서 비교하는 거랑 다를 게 없는 헛소리임.

이런 세부 정보들이야말로 성능을 결정짓는 요소들임:

• 추론 엔진 (vllm 순정? 버전? 아니면 특정 포크? 버전?)
• 모델 가중치 URL - 양자화 방식이 엄청 중요하니까
• 어텐션 백엔드 - 선택할 수 있는 엔진이 여러 개임!
• 추측 디코딩(speculative decoding)을 사용했는지? 어떤 모델 유형인지? 설정은? 추측 모델에 어떤 FA 엔진을 썼는지