r/LocalLLaMA•약 6시간 전•29•13
스마트폰에서 0.8B 파인튜닝 비전 모델을 구동하는 무료 영수증 스캐너 - 상세 비용 추적
Receipt scanner that runs a fine-tuned 0.8B vision model on the phone (free) - detailed cost tracking
핵심 요약
개인정보 보호를 위해 온디바이스 비전 모델을 활용한 무료 영수증 비용 추적 안드로이드 앱을 개발함.
- 온디바이스 처리 — 개인정보 보호를 위해 영수증 데이터를 외부로 전송하지 않음
- 모델 파인튜닝 — Qwen3.5 0.8B와 OvisOCR2를 영수증 데이터로 학습함
- 상세 비용 분석 — 카테고리별 분류를 넘어 품목별 상세 지출 내역 확인 가능
- 오픈 소스 모델 — 온디바이스가 부담스러운 경우 자체 서버 연결 옵션 제공
영수증을 남한테 보내기는 싫고, 품목별로 식비 지출을 기록하고 싶어서 안드로이드 앱을 하나 만들었음. 작은 비전 모델을 써서 영수증 사진을 찍으면 가게 이름, 날짜, 총액, 그리고 품목별 내역까지 싹 다 JSON으로 뽑아줌. (iOS 버전은 애플 검수 때문에 며칠 더 걸릴 듯.)
그리고 보통 앱들은 그냥 '식비' 같이 뭉뚱그려서 분류하는데, 나는 커피에 150유로 썼다 이런 식으로 좀 더 자세하게 보고 싶었거든.
영수증 데이터로 Qwen3.5 0.8B랑 OvisOCR2(이것도 Qwen3.5 0.8B 파인튜닝한 거임)를 직접 파인튜닝했음.
원래는 개인 프로젝트로 올리려고 했는데, 그냥 회사 통해서 내는 게 귀찮은 일도 적을 것 같아서 그렇게 했음.
앱은 무료고 앞으로도 계속 무료임. 프로젝트에 기여하고 싶으면 영수증 사진을 기부해주셈. 모델 성능 높이는 데 쓸 거임.
혹시 기기에서 직접 돌리는 게 메모리 너무 많이 먹는다 싶으면, 본인이 쓰는 OpenAI API 호환 서버에 연결해서 쓸 수 있는 옵션도 넣어놨음. (앱에서 쓰는 모델들은 오픈소스로 풀 예정이라 자기 서버에 올려서 쓰면 됨.)
다양한 기기에서 써보고 피드백 좀 주면 진짜 고맙겠음!
