공립 커뮤니티 칼리지에 AI 랩을 만들게 되었습니다. 무엇을 가르쳐야 할까요?

매우 학제적인 접근이고, 현재 대학원 수준이라 상황마다 다를 수 있긴 함. 그래도 사람들이 자기 노트북에 직접 호스팅하게 하는 것만으로도 엄청나게 많은 걸 배움. '지능'이 웹사이트의 마법 같은 기능이 아니라 본인이 제어하는 파라미터의 함수라는 걸 깨닫게 되면, 우리가 처한 미디어 환경을 이해하는 데 큰 도움이 됨. 정말 힘이 되는 경험이지.

더 생각해보니, 이제 사람들이 스스로 생각하지 않는 시대로 접어들고 있음. 목표는 LLM이 진짜 무엇인지, 즉 통계적 기계라는 걸 보여주는 것이어야 한다고 봄.

첫 번째 Llama 공개부터 최신 로컬 모델까지 보여주면서, 크기가 지능과 비례하지 않는다는 점과 얼마나 빠르게 발전해왔는지를 보여주셈.

어떤 하드웨어를 가지고 있고 예산은 대략 어느 정도임? 전기세는 누가 냄?

5090 4개, RTX PRO 5000 Blackwell 48GB 2개랑 72GB 2개, 각 워크스테이션마다 128GB RAM/4TB NVMe를 갖췄음. 공립 대학이라 전기세는 학교에서 내고, 이 프로젝트는 2년 동안 전액 지원받음. 올해 예산은 거의 다 썼는데, 그래서 가진 자원을 최대한 활용하는 방법을 물어보러 온 거임. 하드웨어랑 자금은 많은데 그 외엔 별게 없어서.

LLM의 메커니즘과 아키텍처를 가르치세요.

CNN 같은 것부터 시작해서 transformers 등으로 넘어가면서, 기계적인 수준에서 어떻게 작동하는지 이해시켜야 합니다.

그래야 LLM이 뭔지 제대로 알 수 있죠. 다들 거울이라고 하지만, 전 프리즘에 더 가깝다고 봅니다. 어떤 빛을 비추느냐, 빛의 색깔이 뭐냐에 따라 고차원 공간에서 벡터를 조작하는 방식이 달라지니까요.

이렇게 가르쳐야 LLM을 제대로 이해하고 활용하는 법을 알 수 있을 겁니다. 쓰레기를 넣으면 쓰레기가 나온다(Slop in > slop out)는 말도 있듯이요.

로컬 모델을 사용해서 쓸만한 코드를 짜는 법을 가르치셈. 대부분의 '바이브 코더'(r/LocalLLaMA 출신 포함)들은 그 경험이 전무함. 그냥 Claude Code 돌리고 프롬프트 입력한 뒤 로컬 모델도 똑같이 행동하길 기대함. 그러다 첫 번째 문제에 부딪히면 바로 포기하지. 그러니까 이건 꼭 배워야 할 기술임.

좋은 지적임. 나도 Claude Code/Codex를 쓰지만, 얼마나 많은 게 숨겨져 있는지 잊어버리기 쉽지. 그런 보조 도구 없이 로컬 모델로 뭔가 유용한 걸 만들게 하는 건 아주 좋은 연습이 될 듯.

인류의 이익을 위해 검열되지 않은 모델을 실행하는 법을 가르치셈.

어떤 하드웨어를 살 예정인지 물어봐도 됨?

이미 대부분 샀음. 워크스테이션 18대인데, 5090 14대, RTX PRO 5000 Blackwell 48GB 2대, 72GB 버전 2대임. 각 128GB RAM에 4TB NVMe도 있고. 그래서 가지고 놀 건 꽤 많음.