r/LocalLLaMA•약 5시간 전•56•17
PS4 GPU에서 오프라인으로 구동되는 Qwen3.5-9B, MTP 헤드를 활용한 추론 가속
Qwen3.5-9B running on a PS4’s GPU, offline, using its own MTP head for speculative decoding
핵심 요약
오픈소스 프로젝트를 통해 PS4 GPU에서 Qwen3.5-9B 모델을 오프라인으로 초당 30토큰 이상 구동하는 데 성공했습니다.
- PS4 성능 최적화 — 4비트 및 3비트 커스텀 포맷으로 4.5GB 용량에 맞춰 모델 최적화함
- 추론 가속 기술 — MTP 헤드를 활용한 speculative decoding으로 속도를 22에서 39 tok/s로 향상함
- 오프라인 AI 구동 — 클라우드나 리눅스 없이 PS4 자체 GPU만으로 대화 및 코드 작성 가능함
- 오픈소스 공개 — 관련 코드와 모델 가중치를 깃허브와 허깅페이스에 무료로 배포함
이거 내가 만든 거라 간단히 적어둠. 내 오픈소스 프로젝트임. Qwen3.5-9B가 순정 PS4에서 31~39 tok/s로 돌아간다. Qwen3.5에 기본으로 들어있는 MTP 헤드가 진짜 신의 한 수였음. 토큰 두 개까지 초안을 짜고 전체 모델이 한 번에 검증하는 방식인데, 덕분에 이 구닥다리 GPU에서 22 tok/s 나오던 게 31~39 tok/s까지 떡상함. 가중치는 4.5 GiB 정도에 맞추려고 커스텀 4비트, 3비트 포맷으로 다시 패킹했음.
이제 니들 구형 PS4로도 9B AI를 오프라인에서, 그것도 자체 GPU로 돌릴 수 있다. 말도 하고, 듣기도 하고, 코딩도 함. 클라우드? 구독? 리눅스? 다 필요 없음. 무료에 오픈소스임.
코드: https://github.com/leonardo-alegria/garlic-llm
직접 다운로드 링크: https://huggingface.co/garlic-llm/garlic-llm-ps4
