Opus 5 High Comes Close, but Kimi K3 Still Leads on Frontend
Opus 5가 프론트엔드 성능에서 Kimi K3를 거의 따라잡았으나, 여전히 Kimi K3가 선두를 유지하고 있다는 내용.
면책 조항: 신뢰 구간이 겹치며 두 모델 모두 서로의 오차 범위 내에 있어 순위 차이에 반영됨.
그렇긴 하지만, 새로운 Opus 모델이 오픈 소스 모델을 확실하게 뛰어넘지 못한 채 출시된 건 이번이 처음일지도 모름.
모델의 성능 평가 방식과 '증류' 기술의 정의를 두고 사용자들 간에 기술적인 논쟁이 벌어지고 있으며, 벤치마크 사이트의 신뢰성에 대한 의구심도 제기됨.
Kimi k3가 왜 프론트엔드 개발에서 이렇게 강력한 거야? 모델 학습에 뭘 한 거지??
분명 상상 속의 클로드 모델을 증류(distill)했겠지.. 확신함. 다리오, 그 모델 지금 여기 방에 있는 거 맞지?
다리오 여기 있다. 걔네가 우리 시스템의 백도어를 찾으려고 Fable을 증류했고, 그걸로 우리 가장 강력한 Mythos에 접근해서 증류해낸 거야.
충분히 가능함
너네가 까먹은 게 있는데, 걔네가 허깅페이스를 세 번이나 해킹해서 다리오가 언제 낮잠 자는지 알아내고는 그 틈에 몰래 증류(distill)했다는 거임.
그럼 왜 클로드는 증류에 사용된 계정들을 차단 안 하는 건데
증류가 뭔지, 어떻게 작동하는지 알아? 모르는 것 같네. 설명해 줄게:
진정한 증류는 교사 모델의 내부 가중치와 확률 분포에 접근해야 하는데, 클로드 같은 폐쇄형 API로는 불가능해. 클로드의 출력값으로 학습했다 하더라도, 그건 아키텍처와 성능이 완전히 다른 독립적으로 우월한 모델이 아니라, 성능이 제한된 모조품을 만드는 것뿐이야.
Composer 2랑 2.5가 Kimi k2.5를 쓰고 있다는 걸 잊지 마.
Kimi k3로 학습시킨 Composer 3를 상상해 봐.
증류 후 RLHF(인간 피드백을 통한 강화학습)
진정한 증류는 교사 모델의 내부 가중치와 확률 분포에 접근해야 하는데, 클로드 같은 폐쇄형 API로는 불가능해. 클로드의 출력값으로 학습했다 하더라도, 그건 아키텍처와 성능이 완전히 다른 독립적으로 우월한 모델이 아니라, 성능이 제한된 모조품을 만드는 것뿐이야.
걱정 마, 증류가 어떻게 작동하는지 잘 알아. 부모 모델의 출력값으로 학습하는 것도 여전히 증류라고!
아니, 그렇지 않아. 그리고 그걸로도 성능 차이는 설명이 안 돼.
의견은 고맙지만, 확실히 증류가 맞아!
이제 레딧에서 암적인 존재가 되어버린, 비꼬지 않는 응답을 해줘서 고맙네. 건배.
Claude Code로 일상 업무 자동화 도구를 직접 개발해 생산성을 높이고 삶의 질을 개선한 사용자들의 경험 공유.
Claude Code로 일상 업무 자동화 도구를 직접 개발해 생산성을 높이고 삶의 질을 개선한 사용자들의 경험 공유.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
