이 서브레딧에서 재미 삼아, 혹은 연구 논문의 기술을 테스트하려고 자기 컴퓨터로 AI를 처음부터 직접 학습시켜 보는 사람 있음?

난 일반적인 말이 일반적인 전자레인지 안에 들어가기 힘들다는 걸 아는 뉴로심볼릭 AI를 가지고 있음. 그거 말고는 이미지랑 비디오 모델 LoRA는 100개 넘게 학습시켜 봤는데 LLM LoRA는 한 번도 안 해봄. 그래도 하드웨어 좀 빵빵하게 맞춰서 특정 작업용 SLM 사전 학습까지 해볼까 생각 중임.

올가을에 이 목적을 위해 128GB VRAM(CMP 170HX 언락 2개) + 128GB RAM 컴퓨터를 맞출 예정임! 현재 일반적인 LLM 지능에 오프로딩하는 작업들이 있는데, 이건 당면한 과제에 비해 너무 과하고 비용도 많이 듦. 예를 들어 Qwen3.6 같은 소형 모델을 파인튜닝해서 특정 작업에서 SOTA에 최대한 근접한 결과를 내려고 함. 이렇게 하면 비용 기반을 크게 줄이고 모든 걸 자체적으로 해결할 수 있어서...

우리 시스템에서 필요한 AI를 마치 텃밭 가꾸듯 "심고 키울" 수 있는 날이 오길 바람.

많은 사람이나 기업이 이미 이걸 연구하고 있어도 놀랍지 않음. "나만의 AI 학습" 서비스를 제공하는 첫 번째 회사는 엄청난 돈을 벌게 될 거임. 그들은 원하는 대로 배포할 수 있는 초특화 모델을 매우 낮은 컴퓨팅 비용으로 얻게 될 테니까. 이건 또한 그들이 현재 더 큰 모델들을 특수 라우터 역할을 하도록 학습시키고 있다는 의미이기도 함.

모델 학습은 그 자체로 아주 깊은 수렁임. 기본적이고 전통적인 트랜스포머 모델은 컴퓨팅, VRAM, 시간이 기하급수적으로 늘어남. 내 최악의 경험은 ~1B 파라미터 모델을 학습시키려고 일주일 내내 방을 찜질방으로 만든 거였음.