r/LocalLLaMA•24일 전•1177•96
이제 2004년산 소니 PSP에서 90M 파라미터 대화형 LLM을 돌릴 수 있게 됨. 이보다 더 로컬(local)할 순 없다.
You can now run a 90M conversational LLM on the Sony PSP (hardware from 2004). Doesn't get more local than this.
핵심 요약
2004년 출시된 소니 PSP에서 90M 파라미터 규모의 LLM을 구동하는 데 성공한 사례를 공유함.
- PSP LLM 구동 — 2004년형 휴대용 게임기에서 90M 파라미터 모델을 초당 0.5~0.6 토큰 속도로 실행함.
- 하드웨어 한계 — 64MB RAM의 제약으로 인해 PSP-1000 모델은 지원하지 못하고 2000/3000 시리즈 등에서만 구동됨.
- 모델 성능 — 90M 규모임에도 불구하고 간단한 시나 짧은 이야기를 생성하는 등 의외로 준수한 성능을 보여줌.
Github link: https://github.com/thatblend/LLMPSP
PSP가 이론적으로 어디까지 버티나 궁금해서 돌려봤는데 답 나왔다. 90M 모델이 추론 속도 씹창 안 나고 돌릴 수 있는 마지노선임. 초당 0.5~0.6 토큰 정도 나오는데, 존나 느리긴 해도 일단 쓰려면 쓸 수는 있다. 답변 하나 받는 데 한 1~3분 걸림.
90M 파라미터치고는 모델 성능이 꽤 인상적임. 뭐 실무에 쓸 데는 전혀 없는데, 엉망진창인 시나 단편 소설도 쓰고, 돌아가지도 않는 코드도 짜줌. 맥북 만드는 회사가 어디냐, LLM이 뭐냐 같은 거 물어보면 가끔 정답도 맞히는데, 또 어떨 때는 미친 소리 지껄이면서 환각 증상 일으킴. 재밌네.
