r/LocalLLaMA•4개월 전•137•30
안녕 레딧, 나만의 LLM 만들기 워크숍을 유튜브에 올렸어 (GPT2 & Qwen3.6 스타일)
Hi Reddit, I posted my Build Your Own LLM workshop to Youtube (GPT2 & Qwen3.6 style)
핵심 요약
수학이나 ML 지식 없이도 코드와 엑셀로 LLM의 기초부터 학습까지 배울 수 있는 고퀄리티 워크숍 자료 공유
- LLM 기초 교육 — 수학적 배경지식 없이 코드와 엑셀 예제로 LLM의 작동 원리를 학습함
- 포괄적인 커리큘럼 — 퍼셉트론부터 트랜스포머 구조, 토크나이저, 사전 학습 및 미세 조정까지 다룸
- 실습 중심 자료 — 유튜브 강의 영상뿐만 아니라 슬라이드와 직접 따라 할 수 있는 엑셀 연습 문제 제공
- 샌프란시스코 워크숍 — 지난달 오프라인에서 진행된 워크숍 내용을 온라인 사용자를 위해 무료로 공개함
안녕 인터넷 친구들, 수학이나 ML 선수 지식 없이도 나만의 LLM을 만드는 워크숍을 녹화했어. 머신러닝 기초부터 심층 신경망, 트랜스포머 아키텍처, 그리고 사전/사후 학습까지 모든 걸 다뤄.
유일한 선수 조건은 코드와 엑셀 예제를 통해 배우는 걸 즐기는 거야.
-
LLM 샘플링
-
LLM 역공학
-
퍼셉트론: wx+b
-
활성화 함수: ReLU, GELU, SwiGLU
-
GPU 코딩: PyTorch, torch.compile(), fused kernels, CUDA, Triton
-
MLP/FFN: 다중 입력, 다층 퍼셉트론, 피드포워드 네트워크
-
손실 함수: 잔차 오차, RMSE, 교차 엔트로피, 손실 경관
-
역전파: 학습 루프, 옵티마이저, 학습률, 배치 크기
-
모델 저장 및 로드
-
초기화: Kaiming, Glorot
