이런 '속도' 관련 게시글들이 정말 필요한가?

'멍청한 글 쓰지 말고, 실수도 하지 마라'

많은 사람이 다른 무엇보다 추론 속도를 중요하게 생각하고, 난 이런 속도 게시글들이 그런 관심을 충족시킨다고 봄.

한쪽으론 나에겐 다른 우선순위가 있음. 나에겐 추론 속도보다 추론 품질이 훨씬 중요함.

다른 한쪽으론 나도 추론 속도에 관심이 있고, 이런 게시글들은 내가 구매를 고려하는 하드웨어에서 어느 정도 속도가 나올지, 혹은 내가 얻는 속도가 다른 사람들에 비해 너무 낮아서 해결해야 할 문제가 있는 건 아닌지 알려주는 유용한 정보가 될 수 있음.

불행히도 이런 속도 게시글들이 1비트 양자화나 그리디 디코딩처럼 내가 절대 하지 않을 극단적인 방법을 사용해서 결과를 왜곡하면, 정보로서의 가치가 떨어짐. 그래서 이런 글들이 내 관심사에 정말 관련이 있는지 신중하게 확인해야 함.

"8GB GPU에서 돌아가요!"라면서 사실은 PC 전체보다 비싼 128GB 램을 쓰는 경우들. 제발 좀.

이런 글들이 누군가에겐 유용함 (192GB 램에 성능은 좀 부족한 나 같은 사람)

로컬 LLM 돌리려고 하드웨어 샀다가 실망하고, 그냥 심심풀이로 가지고 노는 사람들이 많아서 그런 거라고 확신함.