Fable 5.gguf when?
유출된 모델 샤드를 통해 Fable 5의 거대한 규모와 아키텍처를 분석하며 모델 복원 가능성을 논의하는 커뮤니티 반응.
사용자들은 유출된 샤드를 통해 모델의 거대한 규모와 아키텍처를 분석하며, 이것이 실제 모델 복원으로 이어질지 혹은 기술적 통찰을 얻는 데 그칠지를 두고 활발히 토론하고 있습니다.
Fable 5 Q1_S_Q.gguf
Q0.1_xxxxs 정도 되겠지
가중치보다는 모델 아키텍처 세부 정보가 훨씬 흥미로울 듯
전체 가중치면 최고겠지만 아키텍처도 훌륭하지.
640개 샤드 중 하나일 뿐임. 아무것도 못 얻어 형씨.
그냥 Fable한테 나머지 639개 다시 만들라고 하면 됨. 실수하지 말라고 꼭 말하고.
7GB 샤드가 640개면 4.4TB 가중치인데, 왜 포스트에는 8TB라고 적혀있지?
텐서 형태를 보면 대충 이럼
ffn.gate.bias_v1 [384]
seq.value_scale [16, 160]
seq.out_a.scale [256, 128]
seq.out_b.scale [160, 256]
seq.query_a.scale [40, 160]
a와 b의 페어링을 통한 쿼리는 병렬 어텐션 경로일 수 있음. 스케일조차 차원이 다르다는 점도 흥미롭네.
스케일은 양자화 스칼라일 수 있고 0C_28FF는 그들의 커스텀 양자화 포맷일지도 모르며, 그들의 기술은 위와 같은 스칼라 행렬을 사용할 것임.
gate bias는 F32로 남겨둔 걸 보니, 스칼라와 함께 기존의 정밀도(F16/BF16/F8/E4M3 등)를 사용하지 않는 것 같음. 그래서 독자적인 기술로 양자화했다는 신호라고 추측함.
만약 8비트라면 4.4T 모델 사이즈 이상이겠지. 8비트는 이미 추론에 매우 훌륭하니까, 커스텀 dtype 투자는 4비트로 밀어붙여서 거의 9T 모델까지 키우려는 것일 수도 있음. 사실이라면 엄청난 일이지. 연구소들이 9T 사이즈까지 가는 건 들어본 적 없지만, 수천억 달러를 날리고 있으니 비용 측면에서는 그리 놀랍지 않을 수도 있겠네.
설령 이게 사실이 아니더라도, 결국엔 일어날 일임. 사이버 보안 분야에선 '만약'이 아니라 '언제'의 문제거든.
100% 중국이 이거 손에 넣으려고 안달 났을걸... 우리 모두가 다 그렇지 뭐.
솔직히 중국 아키텍처가 훨씬 나을지도 모름. Deepseek의 가성비는 미쳤지. Anthropic은 이미 토큰 가격이 비싼데도 여전히 보조금 쏟아붓고 있다는 거 다 알잖아. 반면에 트레이딩 아키텍처는 얘기가 좀 다르지.
저 사람 곧 돈방석 앉겠네... 그러고 나서 Anthropic 형님들한테 사냥당하겠지 ㅋㅋㅋ
완전 맞는 말! 그게 리버스 엔지니어링의 성배지!
아키텍처가 드러날 수도 있으니 그건 나름 이득이지.
4.4T는 진짜 엄청나네. 그 미친듯한 비용이 설명이 되네.
아마 fp32 같은 걸로 저장됐나 보지.
암스테르담에서 열린 압사라 컨퍼런스에서 알리바바 클라우드 CTO가 다음 주 Qwen4 출시를 예고했습니다.
암스테르담에서 열린 압사라 컨퍼런스에서 알리바바 클라우드 CTO가 다음 주 Qwen4 출시를 예고했습니다.
모든 개인 정보가 유출되는 상황에 대한 사용자들의 다양한 반응과 프라이버시에 대한 고찰을 담고 있습니다.
모든 개인 정보가 유출되는 상황에 대한 사용자들의 다양한 반응과 프라이버시에 대한 고찰을 담고 있습니다.
