이제 3090 광풍 경고 글이 이해가 가네.

이 광풍 스레드의 최상단 댓글에 좋은 반박이 있었어. 이 해킹으로 인한 가시적인 이득이 아직 실무 작업으로 이어지지는 않는다는 내용이지.

글쎄, 가능성은 있을지도 모르지? 하지만 코드 몇 줄 바꿔서 최신 카드보다 갑자기 압도적인 성능을 낸다는 건 너무 좋아서 믿기 힘든 이야기 같아.

원래 스레드 작성자인데, 그건 아직 완전한 언락이 나오지 않아서 그래.

갑자기 성능이 솟구치는 게 아니라, 데이터센터용 카드랑 소비자용 카드의 실리콘 다이가 같기 때문에 원래부터 가능했던 거야.

SM이 언락될 것처럼 보였지만 오늘 최신 개발 상황을 보면 예상보다 가능성이 낮아 보여. 하지만 명령어 언락은 진짜고, 모든 명령어가 언락되면 모든 GA102 GPU(3080, 3090, 3090 ti)는 prefill과 학습에서 A40처럼 작동할 거야. 참고로 A40은 현재 4000~6000달러에 팔리는 구하기 힘든 물건이지(지금은 A100이 더 가성비가 좋아).

그리고 거기 댓글 단 사람 중에 3주 된 언락(명령어 하나만 해제됨)을 돌려본 사람이 있는데, 기억하기로 38~48% 속도 향상을 봤다고 하더라고.

내 3080 20GB 두 장이 점점 더 좋아 보이네. 알리바바 가격이 너무 오르지 않길 바랄 뿐이야.

응, 며칠 전에 들었는데 결국 엄청난 성능 향상으로 이어지지는 않더라고. 결국 BF16 연산은 inference에서 아주 작은 부분일 뿐인 것 같아.

Cuda나 드라이버 업데이트를 거쳐도 안전하게 해킹할 방법이 있는지 지켜보자고. 만약 있다면 나도 시도해 볼 거야!

Inference(추론)는 할아버지가 라디오를 칠 때 쓰는 간섭(Interference)이 아니야. ML 모델은 추론(Inference)을 통해 실행되는 거라고.