r/LocalLLaMA•4개월 전•31•17

모델에서 비전 기능 제거하기

Removing Vision from model

핵심 요약

모델에서 비전 관련 mmproj 파일을 삭제해도 텍스트 성능에는 아무런 영향이 없다는 의견이 지배적임.

VRAM 절약 — mmproj 파일을 삭제하여 비전 기능을 제거하고 VRAM을 확보함.
텍스트 성능 — 비전 기능 제거가 텍스트 처리 능력에는 전혀 영향을 주지 않음.
대안적 방법 — --no-mmproj-offload 옵션을 사용하여 비전 기능을 RAM에 유지할 수 있음.
모델 최적화 — REAPing 같은 기법을 통해 모델의 특정 성능을 유지하며 메모리 효율을 높일 수 있음.

모델에서 비전 기능을 제거하고 VRAM을 아끼려고 mmproj 파일을 삭제했어. 근데 이게 진짜 텍스트 능력에는 아무 영향 안 주는 거 맞아? 궁금해서 물어봐.

Unsloth로 돌리는 Qwen 3.6 35b a3b 모델을 쓰고 있고, 주로 에이전트 코딩 용도로 사용 중이야.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•31•17

모델에서 비전 기능 제거하기

Removing Vision from model

핵심 요약

모델에서 비전 관련 mmproj 파일을 삭제해도 텍스트 성능에는 아무런 영향이 없다는 의견이 지배적임.

VRAM 절약 — mmproj 파일을 삭제하여 비전 기능을 제거하고 VRAM을 확보함.
텍스트 성능 — 비전 기능 제거가 텍스트 처리 능력에는 전혀 영향을 주지 않음.
대안적 방법 — --no-mmproj-offload 옵션을 사용하여 비전 기능을 RAM에 유지할 수 있음.
모델 최적화 — REAPing 같은 기법을 통해 모델의 특정 성능을 유지하며 메모리 효율을 높일 수 있음.

모델에서 비전 기능을 제거하고 VRAM을 아끼려고 mmproj 파일을 삭제했어. 근데 이게 진짜 텍스트 능력에는 아무 영향 안 주는 거 맞아? 궁금해서 물어봐.

Unsloth로 돌리는 Qwen 3.6 35b a3b 모델을 쓰고 있고, 주로 에이전트 코딩 용도로 사용 중이야.

주요 댓글

r/localllama

비전 기능을 제거해 VRAM을 아끼려는 작성자에게 REAPing 기법이 추천되었으나, 해당 모델 구조상 큰 효과를 보기 어렵다는 의견이 제시되었습니다.

대신 --no-mmproj-offload 옵션을 써봤는데, 필요할 때를 대비해서 비전 기능을 RAM에 남겨둘 수 있어. 좀 느리긴 한데 어차피 거의 안 쓰니까.

구세주네, 덕분에 20k 토큰 더 확보함.

[이미지] 굿!

아니, 전혀 영향 없어. 그 파일은 그냥 이미지를 분석해서 임베딩 만드는 용도거든. 그거 없어도 텍스트-투-텍스트 작업은 똑같이 잘 돌아가.

나도 항상 그렇게 해. mmproj 파일이 작아서 RAM에서 불러오면 좀 느리긴 한데, 그렇게 나쁘진 않아.

그 파일은 이미지를 임베딩으로 인코딩하는 텐서가 들어있는 거라, 삭제해도 텍스트 처리에는 아무 영향 없어. 100% 장담함.

mmproj의 목적은 이미지를 LLM의 나머지 부분(텍스트 파트)에서 처리할 수 있도록 토큰으로 인코딩하는 거라고 알고 있어. 사실 여부를 떠나서 텍스트 성능에는 전혀 영향 안 주는 게 확실함. 틀렸으면 알려줘.

--no-mmproj-offload 옵션을 쓰면 기능을 유지하면서 mmproj를 램에 올리고 CPU로 돌릴 수도 있어. 좀 느려지긴 하는데, 가끔 쓰는 정도면 생각보다 나쁘지 않더라고.

메모리 절약에 관심 있다면 REAPing(Router-weighted Expert Activation Pruning)을 찾아보세요! 학습시키지 않은 부분은 성능을 낮추고, 학습시킨 부분은 거의 완벽한 정확도와 성능을 유지하게 해줍니다. 저는 CPU만 쓰는데 이런 프로젝트 덕분에 MoE를 돌리는 게 훨씬 수월하고 멋져졌어요. 더 좋은 컴퓨팅 환경에서는 확실히 스케일업도 잘 됩니다.

안타깝게도 3.6 35b-a3b 모델에는 REAP이 별 효과가 없어요. 초창기에는 항상 쓰이는 전문가와 거의 안 쓰이는 전문가가 나뉘어 있었지만, 요즘은 통계적으로 모든 전문가가 비슷하게 사용되거든요.

원문r/LocalLLaMA