지능의 비용이 빠르게 하락하고 있다

이거 좀 궁금하네. 메모리 가격은 치솟았는데 지능 비용은 계속 내려가고 있다면, 그냥 효율이 엄청나게 좋아진 건가 아니면 투자금으로 엄청나게 보조금을 퍼붓고 있는 건가? 만약 메모리 가격이 일반적인 호황-불황 주기를 따랐다면(지금은 온갖 계약 때문에 안 그럴 것 같지만) 비용 주기의 바닥에서 지능 비용의 진짜 추세선은 어땠을까.

효율이 엄청나게 좋아진 거지. 1년 전에는 슈퍼컴퓨터가 필요했던 게 지금은 3090 한 장으로 돌아가니까.

다들 궁금해하는 부분이지. AI 거품이 터질까? “무엇이 발목을 잡고 있는지 궁금함. 만약 투자 대비 가치를 회수하는 데 너무 오래 걸리거나 아예 불가능하다는 게 밝혀지면 그 제동이 풀릴 수도 있고, 메모리 비용까지 낮아지면 AI 비용은 훨씬 더 떨어질 텐데 아마 그때가 AI 거품이 터지는 시점이겠지.”

학습 데이터의 라벨링이 좋아졌을 뿐임. 알고리즘이 데이터로 뭘 해야 할지 추론할 수는 있지만, 보통 틀려서 엉망인 코드를 뱉거나 살인 로봇인 척하거나 그냥 오작동함. 하지만 실제 라벨링된 데이터가 있어야 모델이 자기가 뭔지, 뭘 해야 하는지, 뭘 피해야 하는지 알게 되고, 지능은 여기서 나옴. 모델은 야생의 아이들에서 잘 교육받은 비서로 진화했음.

이렇게 생각해보셈. "hello world"만 필요하다면 아주 작은 모델로도 원하는 모든 종류의 hello world를 짜게 할 수 있음. 그 작업이 어떻게 생겼는지 아니까 가능한 거임. 다른 걸 할 수 있을까? 아님. 하지만 hello world만큼은 프로일 거임. 비슷하게, 셰익스피어나 개 미용법 같은 관련 없는 데이터로 모델을 학습시키면 hello world는 개판이 될 거임. 그 데이터를 다 섞어서 주면 hello world 프로그램은 잘 짜겠지만, 관련 없는 정보 때문에 헷갈려서 가끔은 프로그램 대신 개 털 깎는 법을 출력할 수도 있음. 학습 데이터에 hello world 프로그램을 요구하는 입력과 그 출력 예시를 라벨링하고, 심지어 약간 도움이 되는 비서 페르소나까지 입히면, 미쳐 날뛰면서 자기가 로미오인 줄 아는 수의사가 되는 대신 네가 시킨 일을 더 잘하게 될 거임. 지능은 그냥 생기는 게 아님. 방대한 양의 정리되지 않은 데이터 속에서 모델이 누구인지, 뭘 해야 하는지 구체적으로 알려줘야 하고, 그 자체가 모델이 뭘 해야 할지 추론하려고 의존하던 데이터 상당수를 쳐낼 수 있게 해줌. 대신, 지식과 기술, 페르소나를 정의하는 의도적인 예시를 통해 뭘 해야 할지 구체적으로 학습되니까, 더 숙련되고 제정신이 되며, 정체성이 강해져서 말을 더 잘 듣게 되는 거임.

로컬에서 실행할 수 있다는 점과 우리 기기의 지능이 향상되는 것에 어떻게 비용을 매겨야 할까? 우리가 기기에서 거의 모든 걸 할 수 있게 되면 프런티어 연구소들은 파산하게 될까? 메모리 가격에는 좋은 영향을 줄 것 같네.