Qwen 27b가 이렇게 좋은 게 어떻게 가능하죠? GPT-4o는 파라미터가 1조 개나 되는데도 더 별로였잖아요?

더 나은 데이터, 더 나은 RL, 더 나은 아키텍처.
ML 프로젝트로서 반드시 '더 낫다'기보다는, 작업을 해결하는 능력이 더 뛰어난 것임.

이건 마치 왜 현대 자동차 엔진이 배기량이 같은 구형 엔진보다 더 높은 마력과 연비를 내는지 묻는 것과 같음. 질문에 좀 더 가깝게 비유하자면, CPU의 기본 속도가 왜 극적으로 빨라지지 않았는지와 비슷함. 대부분의 소비자용 CPU는 거의 10년 동안 4-5GHz 수준에 머물러 있지만, 내 최신 x86이나 심지어 Apple ARM 칩은 같은 클럭 속도나 더 낮은 속도에서도 10년 전 하이엔드 CPU를 압도함.

기술이 성숙해지면서 우리는 동일하거나 더 작은 패키지에서 더 많은 성능을 짜내는 방법을 찾아냄. 이건 놀라운 일이고 Qwen이 보여주는 것도 인상적이지만, 마법이 아니라 좋은 점진적 개선들이 계속 쌓여서 그런 것임.

정답은 더 나은 강화 학습임. 하지만 Qwen 3.8 Max로부터의 더 나은 증류, 더 나은 사전/중간 학습, 더 깨끗하고 라벨링된 데이터도 한몫함. 더 나은 에이전트 궤적, 더 나은 아키텍처 등등.
지금 전 세계 그 어떤 분야보다 LLM R&D에 돈이 많이 쏟아붓고 있음. 당연히 빠르게 좋아질 수밖에 없지.

Ling 3.0 tiny는 기본적으로 어떤 노트북에서든 돌아가고 내 생각엔 4o를 쉽게 이김. 그냥 사람들이 눈이 높아져서 이제는 그 이상을 원할 뿐임.

ㅋㅋ 2013년식 할머니 노트북은 뭘 돌리기엔 너무 느림. 예를 들어 2013년형 맥북 에어는 RAM이 최대 8GB에 i5 프로세서였음.
트윗에 나온 말은 그냥 헛소리임.