r/LocalLLaMA•3개월 전•164•51
Hy3 1비트 89-93GB 모델 테스트
Hy3 1Bit 89-93 GB
핵심 요약
Hy3 모델을 1비트 양자화하여 89GB로 압축한 뒤 성능과 일관성을 테스트한 결과입니다.
- 1비트 양자화 테스트 — 거대 모델을 1비트(하이브리드)로 압축해 성능 유지력을 확인함
- 모델 성능 검증 — 89GB 크기에서도 복잡한 프롬프트를 꽤 잘 수행함
- 비교 테스트 — Qwen 35B, GLM 5.2 등 다양한 모델과 동일 프롬프트로 결과 비교함
- 로컬 환경 구동 — 완전 로컬 환경에서 실행 가능함을 입증함
AngelSlim/Hy3-GGUF at hugging face (저는 관계자 아니고 그냥 테스트 중입니다)
평소에 글을 잘 안 쓰는데, Hy3의 1비트 양자화 버전이 나왔다는 걸 모두가 알았으면 해서 글을 씁니다. 모델들이 점점 커지고 있어서 어떻게 작동하는지 테스트해보고 싶었거든요. 이건 일반적인 iq1m 양자화인데, 압축을 통해 가장 작은 버전이 89GB까지 줄어듭니다. 모델들이 점점 더 커질 예정이라, 가장 작은 버전이 얼마나 일관성을 유지하는지 확인하려고 테스트하는 중입니다. 솔직히 놀랐습니다.
[이미지]
[이미지]
Open WebUi로 만든 게임입니다.
"산, 구름, 끝없는 절차적 지형이 포함된 아름답고 편안한 비행 시뮬레이터를 단일 html 파일로 만들어줘"
품질 면에서는 많은 부분을 유지하고 있습니다.
- 피크닉에 있는 판다 svg 생성해줘:
[이미지]
- 온천에서 유자를 즐기는 카피바라를 최대한 아름답게 생성해줘
[이미지]
- 자전거 타는 펠리컨 svg 생성해줘
[이미지]
