질문 하나만 해도 될까요... 다들 로컬 LLM으로 돈 어떻게 버시나요?

그래도 솔직히 5만 달러는 좀 큰돈이긴 하지. 물론 말 타기, 스포츠카 수집, 보트 같은 부자들 취미랑 비교하면 비슷하겠지만.

돈만 많았으면 집에 4x6000 GPU 리그보다 훨씬 더 많이 들였을 거임. 돈이 없어서 소비자용 GPU 1~2개로 버티는 거지. 근데 5만 달러 이상 쓰는 사람들은 대부분 개인용이 아니라 비즈니스용일 거라고 생각함. (운 좋은 몇몇 제외하고)

나는 진짜로 장비로 돈 버는 사람들에 대해 물어본 건데. 왜 내가 취미로 하는 사람들을 비난한다고 생각하는지 모르겠네.

질문 시작을 '로컬 LLM으로 어떻게 돈을 버냐'고 했으니까 다들 돈 벌고 싶어 한다고 가정하는 거 아니겠음?

...돈을 번다고? 나도 Claude, GPT, Gemini 구독료 내면서 돈 버는 거 아닌데! 농담이고, 난 수익화하려고 하는 게 아님. 그냥 만지작거리는 거 좋아하고, 마침 여유 자금도 있고 요즘 핫한 취미라 하는 거지. 굳이 따지자면 엄청난 실력을 쌓아서 최첨단 연구소의 추론 스택 최적화 같은 걸 할 수 있게 되면 그게 돈 버는 거 아닐까?

이 서브레딧 분위기랑 다르게, 여기서 말도 안 되는 돈을 하드웨어에 쏟아붓는 사람은 생각보다 많지 않음. 1만 달러짜리 RTX 6000이나 Mac Studio 512 쓰는 사람 한 명당, 코인 채굴 붐 끝나고 3090 몇 개 사서 돌리는 사람이 수십 명임. 그리고 그 3090 쓰는 사람 한 명당, Mi50, P40, P100 같은 구형 데이터 센터 카드 쓰는 사람이 수십, 수백 명이고. 또 그 사람들 한 명당 12-16GB 카드 한두 개 쓰는 사람이 수백 명임.

남는 GPU 연산 자원을 대여해주거나 고객을 위해 추론/파인튜닝 작업을 해주는 사람들이 있음. 0xSero 같은 사람들은 펀딩 페이지를 통해 장비를 업그레이드하고 실험을 계속하기도 함.

코드를 외부로 유출할 수 없어서 로컬로 돌리는 사람들도 있음. 그리고 여기 대부분은 5만 달러씩 안 써... 300~500달러만 써도 충분히 할 거 다 할 수 있음.