r/LocalLLaMA•26일 전•100•20
Perplexity, Qwen 3.6용 Mac 추론 서버 오픈소스 공개
Perplexity open-sourced their Mac inference server for Qwen 3.6
핵심 요약
Perplexity가 Apple Silicon 환경에서 Qwen 3.6 모델의 성능을 최적화하는 추론 서버를 오픈소스로 공개했습니다.
- 오픈소스 공개 — Perplexity가 Apple Silicon 최적화 추론 서버인 'lily'를 깃허브에 공개함
- 성능 최적화 — 특정 모델에 집중하여 Apple Silicon에서 최고의 추론 성능을 내도록 설계됨
- 클라우드 의존성 — 로컬 실행은 가능하지만 Perplexity의 커넥터나 클라우드 기능은 제한될 수 있음
- 사용자 반응 — 성능 수치에 대한 관심과 클라우드 구독 모델과의 연관성에 대한 질문이 이어짐
레포 링크 여기 있다: https://github.com/perplexityai/pplx-garden/tree/main/lily
애플 실리콘에서 성능 최대로 뽑아내려고 딱 모델 하나에만 최적화해 놨네.
