Fable과 미래

맞아, 이거지. 그리고 이건 계속해서 우리를 놀라게 하고 있어.

그래, 네 말이 틀린 건 아냐. 근데 난 최근의 놀라움이 단순히 '매운 단어 예측기'를 넘어선 LLM 능력의 확장 때문이라고 봐. 실제 모델 가중치나 응답, 학습 과정 같은 건 이미 한계에 다다른 것 같거든. COT, 추론, 도구 사용 같은 것들이 최근의 놀라움을 가져온 부가적인 요소들이지.

우리가 한계에 다다랐다고 생각하는 근거가 뭐야? 증거가 있어?

LLM으로 한정해서 보면 결국 가중치 문제야. 대화하는 능력은 이미 오래전부터 가능했거든. 발전은 COT나 MoE 같은 것들을 LLM에 덧붙이고 패키징하면서 나온 거지, LLM 자체는 더 이상 크게 개선되기 힘들어.

그래도 샌디브릿지는 정점이었지. 클럭도 훌륭했고 PCIE 레인도 넉넉했잖아. 그 이후로는 설계를 죄다 쓰레기로 만들어놨지.

소비자용 하드웨어의 PCIe 방향성이 상향 곡선을 그리던 때가 그립네. 지금은 M.2 슬롯 4개 달린 메인보드가 나와도, 하나만 풀 스피드로 쓸 수 있고, 두 개는 반토막, 마지막 슬롯까지 쓰면 GPU 슬롯 속도까지 반토막 나지. 참 좋은 세상이야.