bartowski/Qwen3.8-27B-GGUF · Hugging Face - Updated (Per-tensor layout)
GGUF 양자화에 Per-tensor 레이아웃 맵이 적용된 Qwen3.8-27B 모델 업데이트 소식입니다.
huggingface.co
원문 사이트로 이동
수정 사항 : 모델 카드에 그래프, 표, 텍스트 등이 업데이트됨
사용자들은 모델 카드의 per-tensor 레이아웃 정보 제공을 환영하며, 기존 퀀트 모델과의 성능 차이 및 벤치마크 결과에 대해 활발히 논의하고 있습니다.
흥미롭네. 이게 Unsloth가 하는 방식이랑 비교하면 어떤지 궁금함.
이 KL divergence들을 어떻게 테스트하는 건지 의문이 드네. 테스트 프롬프트 스위트가 보통 100개 정도 정해진 질문들로 구성되는데, 이게 오해의 소지가 있을 수 있거든.
이 KLD 값들은 다른 모델들과 비교하는 데 쓰면 안 되고, 오직 해당 모델 자체를 비교하는 용도로만 써야 함. wikitext 100개 청크로만 돌린 거라(더 많이 하면 모델 하나당 며칠씩 걸려서 감당이 안 됨!) 우리가 흔히 보는 일반적인 PPL이나 KLD랑은 다르지만, 내 퀀트 모델들끼리 레벨별로 비교할 때는 도움이 될 거임.
요즘 내가 쓰고 있는 https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF 랑 비교하면 어떤지 궁금함
염치없지만 홍보 좀 할게: 내 벤치마크에 따르면 ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-IQ3_S가 MTP 헤드(1GiB 미만일 거임)가 빠진 걸 감안해도 이 사이즈에선 여전히 압도적으로 최고의 모델임.
업데이트된 퀀트 버전 고마워! 실제 개선 효과가 궁금해서 벤치마크 돌려볼 예정 :D
다음 bartowski qwen 3.8 (업데이트 버전) 기다리는 중
Heretical 처리 방식으로 말이지.
16GB VRAM 쓰는 사람들, 다들 일어나라?
지금 내 로컬 환경이 2070 super 두 개거든. 혹시 설정 좀 공유해 줄 수 있음? 최신 모델 돌릴 때마다 자꾸 뻗어버려서.
모델 카드에서 이제 per-tensor 레이아웃 보여주는 거 진짜 좋네. 퀀트 이름 해석할 필요 없이 한눈에 어떤 텐서가 고정밀도를 유지하는지 바로 볼 수 있으니까.
그거 원래도 HF의 GGUF 메타데이터 뷰어에서 퀀트 클릭하면 볼 수 있었음.
내가 테스트해 본 바로는 이 모델이 Ornith 1.5 35B Q4_K_M보다 성능이 떨어짐. 내 테스트 환경을 아직 완전히 신뢰할 순 없지만, 일단 초기 결과는 그랬음.
이 모델 진짜 인상 깊었음. 출시되고 테스트 스위트 돌려본 뒤로는 5070 Ti에서 내 주력 모델이 됐음.
내 느낌(이랑 tk/s)으로는 16GB 카드에는 ISTA가 더 나은 것 같음. IQ3_XSS mtp 버전으로 수백만 토큰 돌려봤는데 아주 좋았음.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.