Mirage: 22MB 용량으로 장면 묘사, 객체 탐지, OCR, 세그멘테이션, 공간 관계 분석, 추출, 의사결정을 한 번에 처리하는 시각-언어 모델

아키텍처를 좀 설명하자면, Mirage는 총 51.3M 파라미터로 구성돼 있어. 7.8M짜리 이미지 인코더, 40.8M짜리 언어 디코더, 그리고 OCR이랑 공간 인식 헤드에 2.6M가 들어갔지. 인코더는 고정된 Hadamard 변환이랑 작은 학습된 컨볼루션을 써서 채널을 섞는 HConvGLU를 사용해. 탐지랑 마스크는 이미지 특징을 공유하고, 디코더는 Needle이랑 Whistle 뒤에 있는 Simple Attention이랑 Hadamard MLP 계열을 썼어.

Cactus에서 하는 연구가 좀 특이한 편이라 이런 작은 모델들을 만드는 건데, 우리는 지능을 일상적인 소비자용 하드웨어에서 로컬로 돌릴 수 있는 가장 실용적인 형태로 압축하는 걸 목표로 하고 있어.

Mirage를 만들면서 우리가 생각한 건 이거야. 문장을 길게 늘어뜨리거나, 연결어로 설명을 잇거나, 열린 결말식 추론을 하는 건 작은 모델이 이미지 자체에 집중해야 할 자원을 낭비하게 만든다는 거지. 그래서 우리는 공간 인식 헤드, 전용 텍스트 리더, 그리고 이름과 영역을 연결하는 짧은 참조 방식을 써서 문제 구조를 잡았어. 디코더는 여전히 이름, 속성, 관계, 그리고 간결한 추론 과정을 뱉어내고.

핵심 발견은 Mirage의 출력값을 텍스트 전용 LLM에 넘겨주면, 파인튜닝 없이도 LLM한테 VLM 능력을 부여할 수 있다는 거야.

이미지 128장에서 뽑은 256 VQAv2 질문으로 테스트해 봤는데, Qwen3-0.6B 모델이 질문만 받았을 때는 점수가 9.3점이었거든? 근데 Mirage의 구조화된 기록이랑 전체 추론 과정을 같이 넣어주니까 31.3점까지 오르더라(VQA 합의 점수 100점 만점 기준). 둘 다 파인튜닝은 안 한 상태였어. 다른 이미지 기록은 22.2점이 나왔는데, 추론 과정을 빼니까 33.1점이 나오더라고. 이 샘플에서는 이미지 관련 관찰 결과가 도움이 됐지만, 추론 과정에서 확실한 이득을 보지는 못했어. 그냥 구조화된 응답만으로도 충분했던 거지.

물론 모든 모델에서 다 통하는 건 아니야.

더 큰 텍스트 전용 모델들은 결과가 좀 들쭉날쭉했어. 같은 프롬프트랑 Mirage 관찰 결과를 줬을 때 VQA 점수는 다음과 같아.

이 테스트를 돌리려면 `answer`라는 문자열 값을 가진 JSON 객체가 필요한데, 형식을 못 맞춘 응답은 0점 처리했어. 기록이랑 추론 과정을 넣었을 때 Nemotron은 256개 응답 중 214개에서, Qwen3-1.7B는 34개에서 이 요구사항을 못 맞췄지. 그래서 점수에는 정답 정확도랑 형식 준수 여부가 섞여 있어.

인식 실패도 있었어. 스케이트보드 사진 하나에서 Mirage가 스케이트보드를 못 보고 자동차, 사람, 신발만 묘사한 적이 있거든. Qwen은 질문만 보고는 `a skateboard`라고 찍었는데, Mirage의 기록이랑 추론 과정을 읽고 나서는 `a car`라고 답하더라고. 더 큰 모델이라도 결국 관련 관찰 결과가 제대로 들어와야 제대로 답을 하는 거지.

앞으로 Mirage 기록이랑 질문, 짧은 답변을 짝지어서 리더 모델을 파인튜닝해 볼 생각이야. 결과 나오면 공유할 테니까 다들 의견 있으면 알려줘.

Mirage 플레이그라운드: https://cactuscompute.com/blog/mirage

웹 앱에서 Mirage가 결정을 보여주게 하는 데 어려움을 겪었어요. 제가 제대로 못 본 걸 수도 있는데, 사진을 찍었는데 이미지에 대해 결정을 내리도록 프롬프트를 입력할 컨트롤을 찾을 수 없었습니다.