r/LocalLLaMA•약 1개월 전•25•15

다들 Kiwix나 오프라인 위키백과를 모델 학습에 쓰고 계신가요?

How many of you are using Kiwix/offline Wikipedia for training?

핵심 요약

Kiwix 팀이 LLM 학습이나 RAG에 자사 데이터를 사용하는지 궁금해하며 사용자들의 의견을 묻는 글입니다.

학습 vs RAG — 대부분의 사용자는 학습보다는 RAG(검색 증강 생성) 용도로 활용함.
데이터 전처리 — ZIM 파일의 HTML 형식을 벡터 DB용으로 변환하는 과정이 번거로움.
사용자 요구사항 — 미리 청크 처리된 텍스트나 안정적인 ID를 가진 API를 원함.
활용 사례 — Meshtastic이나 MCP를 통한 오프라인 위키백과 연동 사례가 공유됨.

요즘 들어 Kiwix나 오프라인 위키피디아를 학습용으로 쓴다는 얘기가 심심찮게 들리네. Kiwix 팀 차원에서 공식적으로 관여하는 건 아님(우리가 먼저 나선 게 아니라 사람들이 알아서 찾아온 거고, 팀원 중 누구도 사이드 프로젝트 외에는 오프라인 LLM을 따로 연구 안 함). 그래도 이런 얘기가 계속 나오는 걸 보면 우리도 슬슬 궁금해지더라고.

이거 생각보다 흔한 사례임?
우리가 뭘 좀 더 해주면 쓰기 편해질까?

수정: 이 주제에 대해 내가 너무 무지해서 하는 소리일 수도 있는데, 질문의 의도는 사람들이 Kiwix나 오프라인 위키피디아를 LLM에 얼마나 자주 쓰는지(학습 데이터든 검색 소스든 간에) 전반적으로 물어보는 거임.

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•25•15

다들 Kiwix나 오프라인 위키백과를 모델 학습에 쓰고 계신가요?

How many of you are using Kiwix/offline Wikipedia for training?

핵심 요약

Kiwix 팀이 LLM 학습이나 RAG에 자사 데이터를 사용하는지 궁금해하며 사용자들의 의견을 묻는 글입니다.

학습 vs RAG — 대부분의 사용자는 학습보다는 RAG(검색 증강 생성) 용도로 활용함.
데이터 전처리 — ZIM 파일의 HTML 형식을 벡터 DB용으로 변환하는 과정이 번거로움.
사용자 요구사항 — 미리 청크 처리된 텍스트나 안정적인 ID를 가진 API를 원함.
활용 사례 — Meshtastic이나 MCP를 통한 오프라인 위키백과 연동 사례가 공유됨.

이거 생각보다 흔한 사례임?
우리가 뭘 좀 더 해주면 쓰기 편해질까?

주요 댓글

r/localllama

사용자들은 Kiwix를 LLM의 RAG 소스로 활용하는 것에 긍정적이며, 이미 존재하는 openzim MCP 서버나 간단한 CLI 도구 형태의 연동 방식을 선호함.

학습보다는 RAG 쪽으로 봐야 할 듯. 애초에 대부분 모델은 위키백과로 학습됐을 테니까.

학습용으로 쓴다기보다는 검색 가능한 지식 베이스로 쓰는 것 같음(엄밀히 말하면 RAG는 아니지만).

'더 쉽게 만들려면 뭘 해야 할까'에 대해 말하자면, 다들 말했듯이 이건 학습이 아니라 검색(retrieval) 용도임. 내가 겪은 가장 큰 불편함은 ZIM 콘텐츠가 HTML이라 벡터 스토어에 넣으려면 매번 마크업을 제거하고 다시 청크를 나눠야 한다는 거임. 다들 이 삽질을 조금씩 다르게 하고 있지. 깔끔하게 청크 처리된 텍스트 내보내기나, 적절한 길이로 이미 나뉘어 있고 고정 ID가 있는 기사 텍스트를 반환하는 엔드포인트가 있으면 중복 작업을 엄청 줄일 수 있을 듯.

그냥 openzim MCP 서버 쓰셈. 개꿀임.

글쎄, 난 학습보다는 위키백과로 RAG를 하는 게 낫다고 봄. 내가 틀렸을 수도 있지만 사실 관계 정확도 면에선 그게 더 나을걸.

대형 연구소들은 이미 위키백과를 원하는 형태로 다 전처리해 놨을 거임. 개인 개발자들은 잘 전처리된 버전을 좋아하겠지만, 요즘 비용 생각하면 집에서 LLM 학습 돌리는 사람이 얼마나 될지 모르겠네. 물론 몇몇은 있겠지만, 대부분은 특정 용도로 자기 데이터만 쓸걸.

난 openzim-mcp를 통해 오프라인 위키백과 '상위 100만 개 문서'에 접근하도록 LLM을 설정했는데 아주 잘 작동함.

올해 초에 시도했을 땐 openzim-mcp가 페이지네이션을 지원 안 해서 기사 앞부분만 가져오는 문제가 있었는데, 지금은 해결됨.

난 RAG 공부하고 데이터를 벡터 DB로 변환할 때 당신들 리소스 잘 썼음. 시맨틱 검색으로 Kiwix를 조사하고 출처를 인용해서 답변하는 에이전트도 만들었는데, 주로 프로그래밍이나 OS 관련 내용이었음. LLM 학습은 안 하지만.

당신들 작업물 진짜 좋아함. 지금은 Meshtastic을 통해 Kiwix를 CLI나 메시징으로 호스팅하는 사이드 프로젝트 중임.

안녕하세요. 저는 리소스가 제한된(GPU 없는!) 하드웨어에서 LLM을 사용하는 것에 대한 발표를 준비하면서 Kiwix와 로컬 Ollama를 조합해서 사용했습니다. 흔한 사례라고 할 순 없지만, 제 발표의 도입부는 현재 LLM을 사용할 수 없는 상황, 예를 들어 오지 학교 같은 곳을 가정한 시나리오입니다.

Kiwix와 Ollama 조합은 RAG가 어떻게 작동하는지 보여주기에 아주 좋은 조합이었어요. LLM(qwen3:4b-instruct)만 사용했을 때는 지식 컷오프가 명확했고 hallucination이 심하게 발생하는 경향이 있었습니다. Kiwix와 결합하니 qwen이 더 나은…

학습용은 아님. 근데 그걸 위한 스킬은 하나 만들었음. 모델이 기억에 의존해서 헛소리 안 하게 만들었지. Qwen 3.8은 위키백과를 효과적으로 검색할 수 있는 이상적인 지식 베이스를 가진 느낌임.

예전에 내 LLM이랑 옵시디언을 연동했던 게 첫 큰 걸음이었는데, 이건 또 새로운 단계 같네.

최소한의 JSON을 반환하는 기본적인 인터페이스를 갖춘 간단한 CLI 도구가 LLM용으로 딱일 듯.

난 주로 RAG 파이프라인에 Kiwix를 써. 아무 웹사이트나 긁어오는 것보다 원본 데이터가 훨씬 깔끔하거든.

웬만한 LLM(작은 모델들은 아닐 수도 있지만)은 이미 위키백과로 학습됐다는 건 기본 상식이지. 구할 수 있는 가장 접근성 좋고 질 좋은 데이터니까.

난 위키백과 덤프를 RAG용으로 쓰지, 학습용으론 안 써. 위키백과 덤프에서 사용자가 지정한 날짜 이후의 새로운 정보만, 문맥이 통할 정도로 충분히 추출해주는 파이프라인이 있으면 좋을 것 같아. 그러면 구형 모델들을 최신 지식으로 업데이트하기 훨씬 쉬울 텐데.

원문r/LocalLLaMA