로컬 LLM 입문 시 FOMO에 휘둘리지 마세요
Don't let FOMO win if you're interested in local llm from a hobby/learning aspect
핵심 요약
로컬 LLM 학습을 위해 무리하게 고사양 장비를 구매하기보다, 현재 가진 자원으로 학습하는 것이 더 효율적이라는 조언입니다.
- 장비병 경계 — 고사양 하드웨어 구매보다 학습 자체에 집중하는 것이 중요함.
- 학습 효율성 — API나 소형 모델로도 충분히 LLM의 원리와 기술을 배울 수 있음.
- 시장 상황 — 하드웨어 가격 상승에 대한 불안감이 있지만, 무리한 지출은 지양해야 함.
- 실질적 경험 — 로컬 환경과 클라우드 모델을 병행하며 다양한 경험을 쌓는 것이 좋음.
로컬 LLM 한번 찍먹해보려는 형들한테 한마디 하자면, FOMO(나만 뒤처지는 거 아닐까 하는 불안감)나 '장비병'에 너무 휘둘리지 마라.
취미가 뭐든 간에, 더 잘해보겠다고 장비만 사재끼다가 정작 재미도 다 잃고 뭘 배우려던 건지도 까먹는 늪에 빠지기 딱 좋다.
물론 llama나 vllm, 하드웨어 드라이버 같은 거 파는 형들은 뭐 어쩔 수 없지, 그건 해야지.
근데 솔직히 API만 써봐도 배울 거 존나 많고, 지금 가지고 있는 VRAM이나 CPU에 맞는 작은 모델만 돌려봐도 충분히 공부 된다. 기술이 워낙 빨리 변해서 며칠 전에 짠 코드나 논의된 내용들도 금방 구닥다리 되거든. PyTorch로 작은 모델 학습시키는 거 Pi에서도 가능하고, CUDA 배우는 것도 커스텀 커널 짤 거 아니면 딱히 중요하지도 않음. 솔직히 여기 있는 사람들 중에 커널 직접 짜는 사람 별로 없잖아? (아니면 다들 최신 모델한테 짜달라고 하겠지.)
이상하게 들릴지 모르겠지만, AI가 성공하려면 결국 모든 게 평준화될 거다. 누구나 똑같은 이점을 누리게 될 텐데, 다들 이 점을 간과하는 거 같아. "한발 물러서서 지켜보는 것"이 로컬이든 아니든 LLM을 배우는 데 있어 머리도 덜 아프고 돈도 아끼는 가장 좋은 방법일 수도 있는데 말이야.
기술은 아직 걸음마 단계인데, 웃긴 건 여기 질문 올라오는 거 보면 다들 AI한테 세팅 맡기는 법만 묻고 있더라. 진짜 배우고 있는 건지 의문임. 다들 어떻게든 돈 벌려고 하거나, 반대로 돈 뜯기기 싫어서 안달 난 것처럼 보이는데, 결국엔 다 같이 비용만 더 비싸게 만드는 꼴이지.
하지 말라는 소리가 아니다. 근데 굳이 빚까지 내면서 하거나, 남들 다 하는데 나만 뒤처지는 거 아닐까 겁먹을 필요 없다는 거임. 적게 하면서 더 많이 배울 수 있는 방법도 많아. 책 한 권 사서 작은 모델 하나 직접 만들어봐. 5090 사서 최적의 압축률 찾겠다고 쌩쇼하는 것보다 훨씬 많이 배울 거다.
