r/LocalLLaMA•5개월 전•37•13
MTP 텐서 추출 GGUF 파일 - 모델 이식을 위한 경량화된 도너 모델
Extracted MTP tensor GGUFs - smaller donor models for grafting.
핵심 요약
모델 이식(grafting)에 필요한 MTP 텐서만 추출해 용량을 대폭 줄인 경량 GGUF 파일을 공유함.
- 경량화된 GGUF 파일 — 기존 수십 GB 모델 대신 1GB 미만의 텐서 파일만으로 MTP 이식 가능.
- 이식 호환성 검증 — SHA256 해시 비교를 통해 전체 모델과 동일한 결과가 나옴을 확인.
- 사용 편의성 향상 — 대용량 모델 다운로드 없이 기존 라이브러리 변환 및 대역폭 절약 가능.
- 주의 사항 — MTP 구현이 미완성이므로 모델이 깨질 수 있으며 원본 모델 보존 권장.
MTP 텐서를 이식하기 위한 스크립트는 전체 GGUF 모델 파일이 필요합니다. 그게 좀 무겁다고 느껴져서, 로컬 Gemma에게 필요한 것만 추출하는 스크립트를 짜달라고 했습니다.
그 결과로 900MB(35A3B)와 450MB(27B)짜리 가짜 GGUF 두 개가 나왔고, 이 파일들은 텐서만 포함하고 있어 스크립트와 완벽하게 호환됩니다. 기존 라이브러리를 변환하거나 대역폭을 아끼고 싶은 사람들에게는 원래의 38GB, 29GB 모델보다 훨씬 빠르게 다운로드할 수 있습니다.
테스트는 SHA256 해시를 사용하여 이 미니 GGUF로 만든 모델과 전체 모델을 사용한 모델을 비교(결과 동일)했고, 간단한 대화 테스트도 진행했습니다.
크레딧: 원본 GGUF를 만든 am17an, 그리고 원본 스크립트를 만든 buzz에게 감사를 표합니다.
주의사항: MTP 구현은 아직 완성되지 않았습니다. 이 모델들은 언제든 깨지거나 쓸모없어질 수 있습니다. 변환 과정에 업데이트가 있을 수 있으니 원본 모델을 삭제하지 마세요.
테스트는 제가 직접 사용하는 두 모델로만 진행했으므로, 다른 변형 모델들은 잘 작동하지 않거나 아예 안 될 수도 있습니다. 그리고 Q4_1 모델로 아무것도 모르는 상태에서 대충 감으로 코딩했습니다.
