Someone jailbroke a PS5 and got Qwen 3.8 27B running on its GPU at 20 tok/s.
PS5에서 LLM을 구동했다는 소식에 놀라워하다가, 극단적인 양자화(IQ2-XXS) 사실을 알고 실망하는 반응이 주를 이룹니다.
중국 AI 모델들의 신규 출시가 뜸해지자, 커뮤니티에서 모델 출시 속도와 기대감에 대한 다양한 반응이 나오고 있습니다.
중국 AI 모델들의 신규 출시가 뜸해지자, 커뮤니티에서 모델 출시 속도와 기대감에 대한 다양한 반응이 나오고 있습니다.
Anthropic이 AI 에이전트의 폭발적인 커밋을 감당하기 위해 Git 대신 자체 버전 관리 시스템인 'Scion'을 개발했습니다.
Anthropic이 AI 에이전트의 폭발적인 커밋을 감당하기 위해 Git 대신 자체 버전 관리 시스템인 'Scion'을 개발했습니다.
사용자가 챗봇에게 N-word를 사용한 후, 챗봇이 모든 대화에서 해당 단어를 남발하게 된 상황을 공유함.
사용자가 챗봇에게 N-word를 사용한 후, 챗봇이 모든 대화에서 해당 단어를 남발하게 된 상황을 공유함.
대부분의 사용자는 PS5에서 LLM을 구동했다는 사실 자체보다는, 모델의 성능을 심각하게 저하시키는 'IQ2-XXS' 양자화 방식에 실망하며 냉소적인 반응을 보이고 있습니다.
왜 제목에 양자화 정보를 안 적는지 도무지 이해가 안 가네
그렇게 적으면 모델이 뇌사 상태인 거 다 들통나서 아무도 클릭 안 할 테니까 그렇지
맞아. 그냥 'GDDR5에서 초당 20토큰 나옴'이라고 적었으면 클릭할 수고를 덜었을 텐데.
진짜 미스터리인가? iq2xss인 거 보기 전까진 대단해 보이긴 하지
오른쪽 아래에 iq2_xxs라고 적혀있네
뭐, 당연히 Claude가 엔진을 짰는데 정작 본인들은 그게 뭔지도 모르니까 저러는 거겠지, ㅋㅋㅋ.
이것들을 다 묶어서 단백질 구조 예측이나 돌려보자고.
오 이거 멋진데-
IQ2-XXS
아니 됐어
다행히 q2_xxs네. 만약 q4 이상이었으면 게이머들이 우리 때문에 PS5 가격 오른다고 엄청 싫어했을 듯. 그래도 가성비 t/s는 괜찮네.
어차피 뱉어내는 토큰이 죄다 헛소리면 t/s가 무슨 소용이냐.
Iq2xxs랑 q8 kv라니. 그게 27b 파라미터 수보다 훨씬 중요하지. 그래도 흥미로운 프로젝트긴 한데 실용적이진 않음.
오 예 가즈아
당신 누구야? 국방부 사람?