r/LocalLLaMA•약 9시간 전•47•8

Multiverse Computing의 Comet 60B (A12B) GGUF (MTP 헤드 포함)

Multiverse Computing's Comet 60B (A12B) GGUFs with the MTP head

핵심 요약

Multiverse Computing의 Comet 60B 모델을 GGUF로 변환하여 llama.cpp에서 MTP 헤드를 활용한 추론을 가능하게 함.

모델 변환 — Comet 60B A12B 모델을 GGUF 형식으로 변환함
MTP 지원 — --spec-type draft-mtp 옵션을 통한 추측적 디코딩 지원
제약 사항 — 비전 타워가 제외된 텍스트 전용 모델임
공유 목적 — 사용자들이 직접 테스트해 볼 수 있도록 변환본을 공유함

huggingface.co

원문 사이트로 이동

MultiverseComputingCAI/Comet_60B_A12B_BF16 (Nemotron 3.5 Super를 Multiverse Computing에서 압축한 버전) 한번 써보고 싶어서 GGUF로 변환해 봤는데, 순정 llama.cpp에서 아주 잘 돌아간다.

Q4_K_M (42.6 GB)
Q8_0 (64.2 GB)

MTP 헤드 그대로 살려놨으니까 llama-server 실행할 때 --spec-type draft-mtp 옵션 넣어서 speculative decoding 돌리면 된다.

그냥 공유하는 거니까 너희도 한번 써봐라. 참고로 이 GGUF들은 텍스트 전용이다 (비전 타워는 변환 안 했음).

원문

커뮤니티 목록

r/LocalLLaMA•약 9시간 전•47•8

Multiverse Computing의 Comet 60B (A12B) GGUF (MTP 헤드 포함)

Multiverse Computing's Comet 60B (A12B) GGUFs with the MTP head

핵심 요약

Multiverse Computing의 Comet 60B 모델을 GGUF로 변환하여 llama.cpp에서 MTP 헤드를 활용한 추론을 가능하게 함.

모델 변환 — Comet 60B A12B 모델을 GGUF 형식으로 변환함
MTP 지원 — --spec-type draft-mtp 옵션을 통한 추측적 디코딩 지원
제약 사항 — 비전 타워가 제외된 텍스트 전용 모델임
공유 목적 — 사용자들이 직접 테스트해 볼 수 있도록 변환본을 공유함

huggingface.co

원문 사이트로 이동

Q4_K_M (42.6 GB)
Q8_0 (64.2 GB)

MTP 헤드 그대로 살려놨으니까 llama-server 실행할 때 --spec-type draft-mtp 옵션 넣어서 speculative decoding 돌리면 된다.

그냥 공유하는 거니까 너희도 한번 써봐라. 참고로 이 GGUF들은 텍스트 전용이다 (비전 타워는 변환 안 했음).

주요 댓글

r/localllama

Multiverse Computing의 Comet 60B 모델 성능에 대해 원본 모델보다 더 떨어질 것이라는 회의적인 의견과 기존 모델과의 비교를 궁금해하는 반응이 있습니다.

Q38-FN이랑 비교하면 어때?

원본조차도 모든 면에서 Q38-FN한테 밀렸는데, 압축 버전이면 더 멍청해졌을 게 뻔하지.

왜 함?

난 Qwen3.8 Flash Next를 메인으로 쓰고 있어. 내 사용 사례에 맞춰 더 나은 모델(일반적이든 특정 목적이든)을 항상 찾고 있지. Multiverse Computing의 다른 모델(LittleLamb)을 이미 프로젝트에서 쓰고 있는데 성능이 확실해서, Comet도 같은 형식으로 변환해 본 거야. 결과적으로 QFN을 대체하진 못했지만, 어차피 GGUF로 만들어둔 거 공유하면 좋잖아?

실제로 Nemotron 3.5 Bolt랑 비교하면 어때?

원문r/LocalLLaMA