apple/LensVLM-9B · 허깅페이스

여기서 진짜 뉴스는 애플이 수정된 Qwen 모델을 출시했다는 거임.

딱히 놀랍지도 않네. 애플은 거대 LLM 진영에 아군이 없거든. 걔네는 작은 로컬 모델이 필요해. AI 역량을 전부 그쪽에 올인한 상태니까.

내 말은 애플이 파운데이션 모델을 직접 개발한 게 아니라 기존 모델을 파인튜닝했다는 뜻이었음. 그래도 뭐, 많으면 많을수록 좋지.

LLM에 텍스트를 이미지로 입력하는 DeepSeek 논문이랑 비슷해 보이네. Qwen3.5 9B 기반 파인튜닝(베이스 모델은 아닌 듯?)이라 성능이 어떨지 궁금함.

수정: 사실 좀 다르네. 텍스트 문서 뭉치를 압축된 이미지로 입력받은 다음, 툴을 사용해서 특정 문서의 텍스트 내용을 추출하는 방식인가? 실제로 성능이 어떨지, 그냥 텍스트 토큰을 모델에 직접 넣는 것보다 효율적일지 진짜 궁금함.

내 이해로는 모델에 이미지를 여러 장 주고, 빠르게 분석한 뒤에 집중할 특정 이미지를 골라서 더 자세히 읽는 방식인 것 같음.