r/LocalLLaMA•3개월 전•86•17
Bloom에 대한 향수
Nostalgia for Bloom
핵심 요약
초기 대규모 언어 모델인 Bloom을 구동했던 경험을 회상하며, 로컬 LLM 기술의 비약적인 발전을 되돌아보는 글입니다.
- 초기 모델 회상 — Bloom 176B를 구동하기 위해 Optane 드라이브와 스왑을 사용했던 경험 공유
- 기술적 발전 — 로컬 환경에서 LLM을 구동하는 기술이 과거에 비해 얼마나 비약적으로 발전했는지 체감
- 오픈 소스 정신 — 가중치뿐만 아니라 학습 과정까지 완전히 공개되었던 Bloom의 의의 강조
- 커뮤니티 추억 — Llama 1, Goliath 120B 등 초기 모델들을 다루며 겪었던 고충과 재미 공유
huggingface.co
원문 사이트로 이동
우리가 얼마나 멀리 왔는지 정말 놀랍다. 768GB Optane 드라이브를 사서 스왑 메모리로 전체 Bloom 모델을 돌려보려고 애썼던 기억이 난다. 토큰 하나 나오는 데 20분씩 걸렸지. 혹시 이런 초기 모델들 가지고 놀아본 사람 또 있나? 로컬 환경에서 얼마나 많은 발전이 있었는지 스스로 상기하기 위해 다시 한번 시도해보고 싶다.
