r/OpenAI•4개월 전•78•18
안녕 레딧, OpenAI의 GPT-2 스타일 트랜스포머를 직접 만드는 법을 알려주는 LLM 구축 워크숍을 유튜브에 올렸어
Hi Reddit, I posted my Build Your Own LLM workshop to Youtube teaching how to rebuild OpenAI's GPT2-style Transformer
핵심 요약
수학이나 머신러닝 배경지식 없이도 GPT-2 스타일의 트랜스포머를 직접 구현할 수 있는 무료 교육 시리즈가 공개되었습니다.
- LLM 구축 워크숍 — 수학적 선수 지식 없이도 GPT-2 스타일의 트랜스포머를 바닥부터 직접 구현하는 과정을 다룸.
- 단계별 커리큘럼 — 샘플링, 역공학, 활성화 함수, GPU 코딩, 어텐션 등 현대 LLM의 핵심 구성 요소를 모두 포함함.
- 실습 중심 학습 — 슬라이드 강의와 엑셀을 이용한 수작업 실습, 그리고 실제 코딩 예제를 통해 직관적인 이해를 도움.
- 무료 리소스 제공 — 유튜브 영상뿐만 아니라 슬라이드와 연습 문제 자료를 모두 공개하여 누구나 자기 주도 학습이 가능함.
인터넷 친구들 안녕, 수학이나 머신러닝 선수 지식 없이도 자신만의 LLM을 만드는 워크숍을 녹화했어. 워크숍이 끝날 때쯤이면 다들 직접 작동하는 OpenAI GPT2 스타일 트랜스포머를 갖게 될 거야. 이 서브레딧 성격에도 잘 맞을 것 같아. 워크숍은 머신러닝 기초부터 딥 뉴럴 네트워크, 트랜스포머 아키텍처, 그리고 사전/사후 학습까지 모든 내용을 다뤄.
유일한 선수 조건은 코드와 엑셀 예제를 통해 배우는 걸 편하게 느끼는 거야.
-
LLM 샘플링
-
LLM 역공학
-
퍼셉트론: wx+b
-
활성화 함수: ReLU, GELU, SwiGLU
-
GPU 코딩: PyTorch, torch.compile(), fused kernels, CUDA, Triton
-
MLP/FFN: 다중 입력, 다층 퍼셉트론, 피드포워드 네트워크
-
손실 함수: 잔차 오차, RMSE, 교차 엔트로피, 손실 경관
-
역전파: 학습 루프, 옵티마이저, 학습률, 배치 사이즈
