r/LocalLLaMA•약 5시간 전•92•19

릴리즈: Swift 1.5 Flash Next - Heretic v2 - ReverseEngineer

Release: Swift 1.5 Flash Next - Heretic v2 - ReverseEngineer

핵심 요약

리버스 엔지니어링에 최적화된 Qwen 3.8 기반의 Heretic v2 양자화 모델이 공개되었습니다.

모델 최적화 — 리버스 엔지니어링 및 코딩 작업에 특화된 비트 할당 적용
양자화 기법 — 레이어별 중요도에 따른 차등 압축으로 성능 극대화
데이터셋 강화 — 43k 토큰 분량의 리버스 엔지니어링 및 직접 답변 데이터 추가
협업 개발 — v2 가중치 적용으로 추론 능력과 출력 길이 보존

이 모델은 이번 양자화에 쓰인 v2 heretic 가중치를 개발한 u/jeffpeng3(허깅페이스)와 협업해서 만들었어. 추론 능력과 출력 길이를 둘 다 잘 살려냈더라고. 진짜 고생했고, v1 가중치보다 훨씬 발전했어. 나는 양자화 레시피랑 imatrix 레시피를 짜고 실제 양자화를 진행했지.

Strata 빌드 아티팩트가 미리 포함되어 있어 - 저장소에 있는 zip 파일을 확인해. 양자화 버전은 GGUF 파일 형식이야.

예전에 내가 u/jeffpeng3의 v1 가중치로 만든 heretic 버전을 올린 적이 있는데, 그땐 heretic 보정이 좀 엉망이었고 내 양자화 실력도 별로였거든. 이번엔 그 두 부분에서 엄청나게 발전했어. 참고로 모델 로드할 때 Strata에서 BF16 커널을 못 찾는다는 오류가 뜰 수 있는데, 이건 양자화 스펙 때문이야. 그냥 LLM한테 Strata 어딘가에 이미 있다고 닥달하면 알아서 찾아서 연결할 거야.

요약하자면: Qwen 3.8 Swift 1.5 Flash - Heretic v2 (검열 없음) - 리버스 엔지니어링 최적화 버전

이 모델의 비트 할당은 코딩, 지능, 설계, 그리고 특히 리버스 엔지니어링에 집중했어. 나처럼 3D 환경에서 작업하는 사람들을 위해 공간 추론 능력도 조금 추가했지.

모델은 아래 중요도 분포에 따라 양자화됐어(내 LLM 채팅이랑 문서에서 덤프 뜨고 몇 번 수정 거친 거야. 분포는 내가 직접 설계했어).

**837 entries · 399,876 tokens [[llm written distribution table]]