r/LocalLLaMA•6개월 전•211•30

Gemma 4의 MTP(다중 토큰 예측) 리버스 엔지니어링 시도 업데이트

Update on Gemma 4 having MTP: Reverse engineering effort

핵심 요약

Gemma 4에 숨겨진 MTP 기능을 리버스 엔지니어링하여 PyTorch 모델로 복구하려는 시도가 진행 중임.

MTP 리버스 엔지니어링 — Gemma 4의 TFLite 파일에서 MTP 기능을 추출해 PyTorch 모델로 변환하는 작업 진행 중임.
커뮤니티 협업 요청 — C++ 및 모델 구조 분석에 능숙한 사용자들에게 리버스 엔지니어링 도움을 구함.
성능 향상 기대 — MTP가 적용되면 추론 속도가 빨라져 소비자용 하드웨어에서 큰 성능 이득을 볼 것으로 예상됨.
추측 디코딩 활용 — MTP를 활용한 추측 디코딩으로 코딩 작업 등에서 상당한 속도 향상을 경험했다는 사례가 공유됨.

여러분 안녕하세요.

이전 게시물에서 Gemma 4에 MTP가 있다는 사실을 발견했다고 언급했었죠. 모델 가중치를 추출하는 데는 성공했지만, 이제 커뮤니티의 도움이 필요합니다. 특히 컴파일된 TFLite 그래프 파일에서 MTP를 리버스 엔지니어링하여 다시 사용 가능한 Pytorch nn.Module로 변환할 수 있는 C++ 전문가분들의 도움이 절실합니다.

HuggingFace에 추출된 파일들과 복제 단계, 그리고 제가 찾은 단서들을 정리한 저장소를 만들었으며, 이 게시물에 링크를 걸어두었습니다.

TL;DR

추출된 .litertlm --> 여러 개의 .tflite 파일들
INT8로 양자화된 것으로 보이며, 구글 측에서 QAT 학습을 진행했다면 역양자화를 통해 복구 가능할 수도 있음
Google의 AI Edge Model explorer로 리버스 엔지니어링 가능: https://ai.google.dev/edge/model-explorer
이전 Gemini Nano 추출/변환 작업(예: safetensors로 변환)이 도움이 될지도 모름 https://huggingface.co/Xenova/gemini-nano/discussions/1 . 이번에는 Gemma 4의 트랜스포머 블록 구현 방식을 알고 있기 때문에 포팅이 훨씬 쉬울 것으로 보임
Graphdef의 json을 추출했는데, LLM을 사용하여 리버스 엔지니어링하는 데 유용할 수 있음. JSON은 제 저장소의 extracted/ 폴더 안에 있음.

원문

커뮤니티 목록

r/LocalLLaMA•6개월 전•211•30

Gemma 4의 MTP(다중 토큰 예측) 리버스 엔지니어링 시도 업데이트

Update on Gemma 4 having MTP: Reverse engineering effort

핵심 요약

Gemma 4에 숨겨진 MTP 기능을 리버스 엔지니어링하여 PyTorch 모델로 복구하려는 시도가 진행 중임.

MTP 리버스 엔지니어링 — Gemma 4의 TFLite 파일에서 MTP 기능을 추출해 PyTorch 모델로 변환하는 작업 진행 중임.
커뮤니티 협업 요청 — C++ 및 모델 구조 분석에 능숙한 사용자들에게 리버스 엔지니어링 도움을 구함.
성능 향상 기대 — MTP가 적용되면 추론 속도가 빨라져 소비자용 하드웨어에서 큰 성능 이득을 볼 것으로 예상됨.
추측 디코딩 활용 — MTP를 활용한 추측 디코딩으로 코딩 작업 등에서 상당한 속도 향상을 경험했다는 사례가 공유됨.

여러분 안녕하세요.

HuggingFace에 추출된 파일들과 복제 단계, 그리고 제가 찾은 단서들을 정리한 저장소를 만들었으며, 이 게시물에 링크를 걸어두었습니다.

TL;DR

추출된 .litertlm --> 여러 개의 .tflite 파일들
INT8로 양자화된 것으로 보이며, 구글 측에서 QAT 학습을 진행했다면 역양자화를 통해 복구 가능할 수도 있음
Google의 AI Edge Model explorer로 리버스 엔지니어링 가능: https://ai.google.dev/edge/model-explorer
이전 Gemini Nano 추출/변환 작업(예: safetensors로 변환)이 도움이 될지도 모름 https://huggingface.co/Xenova/gemini-nano/discussions/1 . 이번에는 Gemma 4의 트랜스포머 블록 구현 방식을 알고 있기 때문에 포팅이 훨씬 쉬울 것으로 보임
Graphdef의 json을 추출했는데, LLM을 사용하여 리버스 엔지니어링하는 데 유용할 수 있음. JSON은 제 저장소의 extracted/ 폴더 안에 있음.

주요 댓글

r/localllama

Gemma 4의 숨겨진 MTP 기능에 대한 기술적 호기심과 이를 활용한 성능 향상 가능성에 대해 커뮤니티의 기대감이 매우 높음.

계속 좋은 작업 부탁함. 구글은 아마 MTP를 다시 추가하지 않을 거임. 그랬다간 31b 모델이 Flash Lite의 강력한 경쟁자가 될 테니까. 예전에 트윗에서 유출됐다가 삭제된 122b 모델을 우리가 절대 못 볼 거라고 생각하는 것도 같은 이유임. 뭐 어쨌든, Qwen3.6은 27b 밀집 모델로 나오길 기대함 🤞.

그냥 추측 디코딩 드래프트 모델을 쓰셈. 내 Strix Halo 환경에서 8 tps 나오던 게 코딩할 때 25 tps까지 올라갔음.

어떤 모델이랑 어떤 모델을 조합한 거임? 31b 타겟 모델에 e2b를 드래프트 모델로 쓴 거?

맞음, 드래프트 모델은 q3나 q4 같은 낮은 양자화 버전으로 썼음.

3배 속도 향상이면 추측 디코딩치고는 엄청난 거 아님? 예전 Llama나 Qwen3 모델 쓸 때는 좋은 타겟/드래프트 조합으로도 1.5배에서 1.7배 정도가 일반적이었고, 2배가 거의 한계치라고 알고 있었는데. 다들 그렇게 속도가 잘 나왔었나, 아니면 지금 이게 완전히 미지의 영역인 거임?

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

작업에 따라 다름. 코딩할 때는 3배가 나오는데, 글쓰기 같은 건 7-8에서 11-14 정도로 뜀. 코딩은 반복되는 보일러플레이트 코드가 많아서 속도 향상이 큰 거임.

내가 알기로 3배는 드래프트 모델이 거의 항상 정답을 맞힐 때 나오는 수치임.

이게 왜 중요한지, 그리고 뭘 달성하려는 건지 설명해 줄 사람?

다중 토큰 예측(MTP)에 대해 설명하자면, 보통 LLM은 토큰을 하나씩 생성함. 다음 토큰 예측 -> 추가 -> 반복. MTP는 이걸 바꿔서 모델이 한 번의 순방향 패스에서 여러 개의 미래 토큰을 예측하도록 학습함. 이게 중요한 이유는 속도 때문임. 토큰 단위 생성은 특히 llama.cpp + MI60이나 소비자용 하드웨어 환경에서 가장 큰 병목 구간임. MTP를 쓰면 모델이 여러 토큰을 미리 추측하고, 그걸 검증(보통 추측 디코딩을 통해)해서 맞으면 속도가 빨라짐.

큰 모델들에 Eagle MTP가 너무 간절함. 31B 모델이 2배 속도로 돌아가면 진짜 좋을 텐데.

조만간 DFlash 기술이 적용될 거라는 이야기가 있음.

Gemma 4에 MTP가 문서화되지 않은 채 들어있다는 게 대박이네. 구글이 분명 그렇게 학습시켜 놓고 그냥 언급을 안 한 거임. 만약 드래프트 토큰 수용률이 충분히 높다면 소비자용 하드웨어에서 llama.cpp 처리량에 진짜 큰 차이를 만들 수 있을 듯. 계속 지켜봐야겠음.

원문r/LocalLLaMA