독서 애호가들을 위해 llama.cpp 기반의 LocalLLM 프로그램을 만들었습니다!
Made a program using LocalLLM based on llama.cpp for fellow Book Lovers!
핵심 요약
LocalLLM을 활용해 번역 기능을 내장한 독서 애호가용 전자책 리더기 'Emebala'를 개발했습니다.
- 전자책 리더기 — 번역 모델이 내장된 독서 전용 프로그램 개발함
- 핵심 기능 — 독서 중 메모, 태그 기반 북마크, 서평 작성 지원함
- 기술적 특징 — 1.8B 번역 특화 모델을 사용하여 낮은 VRAM으로 효율적인 번역 제공함
- 개발 동기 — 언어 장벽으로 인한 독서의 어려움을 해결하고자 함
세 줄 요약: 소형 번역 모델을 내장한 전자책 리더기를 만들었음.
안녕! 홍보성 글인 거 아는데, 책 좋아하는 사람들은 흥미로워할 만한 컨셉이라 한번 봐줬으면 좋겠어.
중동에 사는 영어권 AI 개발자랑 얘기하다가, 읽고 싶은 책이 한국어로 번역이 안 돼서 답답하다고 하소연했거든. 옛날처럼 영어-한국어 사전 들고 다닐 필요 없이 AI가 번역해주면 되지 않겠냐고 했더니, 그 친구도 좋은 생각이라면서 맞장구치더라고. 그때부터 개발 시작했지. 그 친구가 여기 <a href="/r/LocalLLaMA">r/LocalLLaMA</a> 서브레딧에 홍보해보라고 강력 추천하더라. 여기 형들은 기술 잘 알고 통찰력도 많을 거라고 하면서. (맞아, 나도 <a href="/r/LocalLLaMA">r/LocalLLaMA</a> 자주 눈팅해. 보안 걱정 없이 LLM 쓰는 건 다들 꿈꾸는 거잖아. 아직 자금 사정 때문에 완벽하게 구현하진 못했지만, GPU 빌려 써본 경험상 70B 모델 정도면 내 요구사항의 80%는 충족할 것 같더라고.)
예전에 4B LLM 파인튜닝 해본 경험이랑 이것저것 프로젝트 해본 게 이번 개발에 큰 도움이 됐어.
기능은 간단해. 책 좋아하는 사람들을 위해 딱 필요한 것들만 넣었거든.
- 독서 중에 포스트잇 붙이기,
- 여러 태그를 달 수 있는 북마크,
- 독서 노트 작성.
무엇보다, 내가 쓴 노트랑 리뷰를 검색해서 가슴에 팍 꽂혔던 그 문장을 바로 찾을 수 있어. 별거 아닌 기능 같지? 근데 난 평소에 책 읽다가 종이 쪼가리들을 책 사이에 엄청 끼워두거든. 옛날에 읽은 책 꺼내 보면 그 안에 북마크랑 메모지 같은 게 막 쏟아져 나와.
1.8B 번역 특화 모델을 써서 VRAM도 3~4GB 정도로 적게 먹는데, 번역 퀄리티는 꽤 괜찮게 나와.
여기 형들은 다들 똑똑하니까 스크린샷 몇 장만 봐도 어떻게 돌아가는지 바로 알겠지? 독일어 책을 영어로 번역하는 장면도 찍어놨어.
사실 내 마음속에 오래된 응어리가 하나 있어. 스타트업 커뮤니티에서 만난 나이지리아 청년한테 한국 책을 추천해주고 싶었는데, 영어 번역본이 없어서 소개를 못 해줬거든. 저작권자한테 확인해봐도 영어판은 아예 없다고 하고. 그때는 AI 번역 같은 건 생각도 못 했지. 지금 'emebala'를 만들긴 했지만, 여전히 그 친구한테 이걸 써보라고 할 수는 없는 상황이야.
