Tencent/Hy4-preview 770B-A49B weight dropped
텐센트가 770B 규모의 오픈소스 모델 Hy4 프리뷰 버전을 공개하며 AI 연구 분야의 새로운 경쟁을 예고했습니다.
huggingface.co
원문 사이트로 이동
Tencent의 770B 모델 공개에 대해 중국의 기술적 우위를 언급하거나, 모델의 엄청난 크기로 인한 하드웨어 제약 및 향후 AI 시장의 변화를 논하는 반응들이 주를 이룸.
이번 주 도대체 무슨 일이 벌어지고 있는 거냐... 세상에.
그리고 9시간 뒤면 GLM-5.3 가중치도 공개될 예정임!
256GB 스튜디오랑 512GB를 어떻게든 유지해야 하는데... 세금 신고 미리 하고 뭘 감당할 수 있을지 확인해 봐야겠네...
중국이 미국을 아주 제대로 압도하고 있네
그렇긴 한데, 미국인들은 듣고 싶어 하지 않지.
이번 주만 그런 게 아님. 이게 새로운 속도임. 이제 프런티어 모델 하나하나 테스트할 시간도 없을 거고, 속도는 계속 더 빨라질 거다.
벤치마크 데이터와 그들의 코멘트.
"우리는 블라인드 비교 평가를 진행했음: 163명의 내부 전문가들이 203개의 엔지니어링 작업에서 모델 출력을 평가함. Hy4 프리뷰는...
GLM 5.3 수준의 크기와 성능이네.
이건 Hy4의 초기 버전임. 사전 학습과 사후 학습 모두에서 여전히 개선의 여지가 많고, 알려진 문제점들을 안고 출시함 — 그중에는 복잡한 작업을 추론하는 데 필요한 것보다 더 많은 시간을 소비하는 것과, 자신의 작업을 과도하게 검증하려는 경향이 포함됨. 우리는 이런 부분들을 빠르게 반복 수정할 예정임. Hy3 프리뷰 때와 마찬가지로, 우리는 일찍 출시해서 무엇이 고장 나는지 듣고 싶음 — 그게 Hy3를 훨씬 더 좋게 만들었고, 우리가 Hy4를 제대로 만드는 방법이 될 것임.
기억해둬.
"iT oVerTHinKs" 같은 글들이 쏟아지는 와중에 그나마 다행인 점은, 이 모델이 엄청나게 덩치가 커서 대부분의 사람들은 돌리지도 못한다는 거지.
여기서 누가 780B 모델을 돌리는지는 모르겠지만, 그들이 부럽고 잘됐으면 좋겠네 :)
이건 AI 거품이 꺼지고 하드웨어 가격이 예전 수준으로 돌아가거나, AI 기업들이 하드웨어를 대량으로 팔아치워서 중고 HBM까지 살 수 있을 정도로 공급 과잉이 와야 가능할 듯. 안 그러면 지금 골드 스탠다드는 32GB 카드용 dense 27B 모델이랑 공유 메모리 기기용 12XB MoE, 그리고 작업용 35B MoE 정도지.
근데 이게 프리뷰라고? 그럼 정식 버전은 fable 수준 이상이라는 건가?
LLM에서 프리뷰 버전이랑 정식 출시 버전의 기술적인 차이가 정확히 뭐야?
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
