모델이 지능을 잃지 않고 작아질 수 있는 한계점이 있을까?

DeepSeek V4 Flash 때문에 생각이 좀 많아지네...

요즘 작은 모델들이 계속 미친 듯이 똑똑해지는 게 눈에 보여. 똑같은 파라미터 수라도 1~2년 전 모델이랑 비교하면 지금 모델이 훨씬 똑똑하거든. 더 나은 학습 방식, 데이터, 아키텍처, 증류(distillation), MoE 같은 기술들 덕분에 기업들이 작은 모델에 지능을 꽉꽉 눌러 담는 느낌이야. 근데 이게 과연 끝까지 가능할까?

어느 정도 수준이 되면 모델도 언어를 이해하고, 방대한 분야의 지식을 저장하고, 문제를 추론하고, 코드를 짜고, 지시를 따르고, 처음 보는 문제까지 일반화해서 해결할 수 있는 최소한의 용량이 필요할 거 아냐. 그럼 모델 크기를 계속 줄이면서도 지능 수준은 똑같이 유지할 수 있는 걸까?

미래의 30B 모델이 지금의 300B나 700B 모델이랑 모든 면에서 맞짱 뜰 수 있을까? 그냥 몇몇 벤치마크 점수만 잘 나오는 게 아니라, 실제 다양한 분야에서 써먹을 때 말이야.

7B 모델도 결국 그렇게 될 수 있을까? 아니면 모델이 지식이나 추론 능력, 신뢰성을 잃지 않기 위해 필요한 최소한의 용량이 따로 있는 걸까?

파라미터 수가 지능을 직접적으로 나타내는 지표가 아니라는 건 나도 알아. MoE 때문에 더 헷갈리기도 하지. 토큰 하나 처리할 때 전체 파라미터 중 일부만 쓰는데도 전체 파라미터는 수천억 개가 넘어가니까. 게다가 전체 파라미터, 활성 파라미터, 메모리 사용량, 실제 추론 연산량은 다 다른 개념이잖아.

파라미터랑 인간 뇌의 뉴런을 비교하는 것도 별로 의미 없다고 봐. 당연히 같은 게 아니니까. 그래도 범용 인공지능(AGI)에 가까워지려면 최소한 어느 정도의 정보량이나 연산량이 필요한 건지 궁금하긴 해.

어쩌면 우리가 비용을 없애는 게 아니라 그냥 다른 곳으로 옮기고 있는 걸지도 몰라. 작은 모델은 더 비싼 학습 과정이 필요하거나, 더 큰 모델에서 뽑아낸 합성 데이터, 증류, 긴 추론 시간, 검색(retrieval), 외부 도구 같은 게 필요할 수도 있으니까.

벤치마크 문제도 있어. 작은 모델이 큰 모델이랑 비슷한 벤치마크 점수를 받는다고 해서, 진짜로 똑같은 능력을 갖췄다고 볼 수 있을까? 아니면 그냥 우리가 지금 테스트하는 항목들에만 최적화된 건 아닐까?

평소엔 큰 모델이랑 비슷하게 작동하다가도, 희귀한 지식이나 이상한 프롬프트, 긴 작업, 혹은 학습 데이터랑 완전히 다른 문제가 나오면 바로 맛이 가버리는 거 아닐까 싶기도 하고.

내 생각엔 특정 능력치를 내려면 최소한의 크기가 분명히 존재할 것 같아. 다만 더 나은 학습법이랑 아키텍처가 그 최소치를 계속 낮추고 있는 거지. 근데 이 엄청난 발전 속도가 언제쯤 둔화될지가 궁금해.

아직 모델이 훨씬 작아지면서도 똑똑해질 여지가 많이 남은 걸까? 아니면 이제 쉬운 건 다 끝났고, 마지막 10~20%를 채우는 게 엄청나게 어려워지는 지점에 다가온 걸까?