r/LocalLLaMA•5개월 전•278•71
AMD Hipfire - AMD GPU에 최적화된 새로운 추론 엔진
AMD Hipfire - a new inference engine optimized for AMD GPU's
핵심 요약
모든 AMD GPU를 지원하며 벤치마크상 상당한 속도 향상을 보여주는 새로운 추론 엔진 'Hipfire'가 공개되었습니다.
- Hipfire 엔진 — 모든 AMD GPU를 지원하며 mq4 양자화 방식을 사용하는 새로운 추론 엔진임.
- 성능 향상 — 벤치마크 결과 기존 대비 2.8배 이상의 극적인 속도 향상을 보여줌.
- 호환성 논란 — GGUF 형식을 지원하지 않아 기존 생태계와의 호환성 문제가 제기됨.
- 실제 테스트 — RX 7900 XTX에서 유의미한 성능 향상이 확인되었으나 실사용은 검증이 필요함.
며칠 전에 hipfire를 발견했어. 최신 GPU뿐만 아니라 모든 AMD GPU에 초점을 맞춘 완전히 새로운 추론 엔진이야.
특별한 mq4 양자화 방식을 사용해. hipfire 제작자가 huggingface에 모델들을 계속 올리고 있어.
양자화에 대해 잘 몰라서 이 퀀트 모델들의 품질이 얼마나 좋은지는 모르겠지만, RDNA3 애호가로서 AMD가 관심을 받고 있다는 점은 기쁘네.
Localmaxxing은 새로운 LLM 벤치마크 사이트인데, hipfire 추론에서 꽤 극적인 속도 향상을 보여주고 있어.
수정: 그냥 hipfire라고 했어야 했네. AMD 공식 프로젝트는 아닌 것 같아.
