내 햄스터 월리가 로컬 AI 전력을 공급해줘서 데이터 센터가 필요 없음

한동안 로컬 모델을 돌려봤는데, 질문 하나 던질 때마다 전기 계량기 올라가는 거 보는 게 슬슬 지겨워지더라. 데이터 센터가 AI랑 채팅 좀 하겠다고 전기랑 물을 말도 안 되게 처먹는 거 보고, 이제 이런 짓 그만하고 싶다는 생각이 들었음.

그래서 햄스터 쳇바퀴를 연결했다. 월리가 달리면 모델이 돌아감. 이게 전부임. 지금 속도는 0.1 정도 나오고, AI 부하 22%일 때 에너지 수치는 1019 찍히네. 일반적인 기준으로 보면 존나 느린데, 어쨌든 작동은 하고 외부 전력은 1도 안 씀. 내가 할 일이라곤 물통 채워주고 씨앗 떨어지지 않게 챙겨주는 게 다임.

월리는 자기가 오프라인 추론을 가능하게 만드는 장본인이라는 걸 꿈에도 모를 거다. 그냥 쳇바퀴 돌리는 걸 좋아할 뿐이지. 난 데이터 센터나 더 큰 파워 서플라이 같은 거 필요 없고, 사람들이 로컬 AI 힘들다고 핑계 대는 그런 것들 다 필요 없어서 좋다. 월리가 주는 힘으로 충분함. 더 이상의 전력은 필요 없음. 모델은 대답하고, 햄스터는 계속 달리고, 데이터는 집 밖으로 나갈 일이 없음.

심지어 생각보다 존나 안정적임. 월리가 쉬고 싶을 땐 쉬지만, 쳇바퀴 위에 올라가면 토큰은 계속 쏟아짐. 클라우드 비용도 없고, 속도 제한도 없고, 멀리 있는 서버 팜에서 자리 날 때까지 기다릴 필요도 없음. 그냥 작은 동물 하나가 어차피 밤새 하던 짓을 계속할 뿐임.

혹시 전력 걱정 없이 로컬 모델 돌리는 다른 방법 찾은 사람 있냐?

더 자세한 내용은 깃허브 참고:
https://github.com/kMegapnbedt