r/LocalLLaMA•약 10시간 전•23•23

[격주 메가스레드] 프로젝트 쇼케이스

[Bi-Weekly Megathread] Project Showcase

핵심 요약

r/LocalLLaMA 커뮤니티 회원들이 직접 개발한 로컬 AI 프로젝트와 도구들을 공유하는 자리입니다.

코딩 최적화 — 프롬프트 엔지니어링과 테스트 자동화로 모델 출력 품질 향상
성능 최적화 — vllm 및 MLX 기반의 추론 속도 개선 및 로컬 하드웨어 활용
학습 및 생산성 — 로컬 모델을 활용한 학습 보조 앱 및 문서 편집기 개발
음성 및 데이터 — 로컬 음성 모델 통합 및 데이터 분석을 위한 실험 설계 도구

r/LocalLLaMA 커뮤니티에 공유하고 싶은 내용이 있나요? 여기가 바로 그 자리입니다!

소개글 작성 권장 사항:

프로젝트가 어떤 기능을 하는지, 왜 사람들이 관심을 가져야 하는지 쉬운 영어로 설명해 주세요.
기존에 있던 것들과 비교했을 때 어떤 점이 더 나은지, 왜 사람들이 당신의 프로젝트로 갈아타야 하는지 알려주세요.
어떻게 테스트하고 검증했나요? (예: <insert current trending AI model>한테 몇 시간 동안 대충 시켜서 만든 게 아니라는 증거를 보여줄 수 있나요?)

참고: 이 커뮤니티는 오픈 웨이트, 오픈 소스, 로컬 호스팅 가능한 소프트웨어를 지향합니다. 따라서 폐쇄형 소스 상용 서비스나 이와 유사한 프로젝트는 삭제될 예정입니다.

원문

커뮤니티 목록

r/LocalLLaMA•약 10시간 전•23•23

[격주 메가스레드] 프로젝트 쇼케이스

[Bi-Weekly Megathread] Project Showcase

핵심 요약

r/LocalLLaMA 커뮤니티 회원들이 직접 개발한 로컬 AI 프로젝트와 도구들을 공유하는 자리입니다.

코딩 최적화 — 프롬프트 엔지니어링과 테스트 자동화로 모델 출력 품질 향상
성능 최적화 — vllm 및 MLX 기반의 추론 속도 개선 및 로컬 하드웨어 활용
학습 및 생산성 — 로컬 모델을 활용한 학습 보조 앱 및 문서 편집기 개발
음성 및 데이터 — 로컬 음성 모델 통합 및 데이터 분석을 위한 실험 설계 도구

r/LocalLLaMA 커뮤니티에 공유하고 싶은 내용이 있나요? 여기가 바로 그 자리입니다!

소개글 작성 권장 사항:

프로젝트가 어떤 기능을 하는지, 왜 사람들이 관심을 가져야 하는지 쉬운 영어로 설명해 주세요.
기존에 있던 것들과 비교했을 때 어떤 점이 더 나은지, 왜 사람들이 당신의 프로젝트로 갈아타야 하는지 알려주세요.
어떻게 테스트하고 검증했나요? (예: <insert current trending AI model>한테 몇 시간 동안 대충 시켜서 만든 게 아니라는 증거를 보여줄 수 있나요?)

주요 댓글

r/localllama

사용자들이 각자의 로컬 LLM 기반 프로젝트(코딩, 학습, 음성, 문서 편집 등)를 공유하며 성능 최적화와 도구 개발에 대한 활발한 논의가 이루어지고 있습니다.

https://github.com/bigattichouse/BluePrint

소프트웨어 개발을 위한 더 나은 프롬프팅 방식이 코딩 모델 출력 품질을 비약적으로 높여줬음.

설계 우선, 변증법적 소프트웨어 개발 프롬프트. 요구사항 형식, 표준 기술 영어, 설계 우선 철학, 그리고 광범위한 테스트를 사용하는 이 방식은 '원샷' 방식과는 차원이 다름. 모델이 그냥 지어내는 대신 질문을 던지고, 요구사항을 구축하고, 테스트를 설계한 뒤 그 테스트를 사용해 코드가 망가지지 않았는지 검증함. 삶의 질이 달라졌음.

심지어 Claude/fable이 Blueprint를 사용해 코드와 설계 결과물을 검토하게 했는데, 테스트 단계에서 몇 가지 단순한 실수를 하긴 했지만 결과물의 수준과 품질에 매우 만족했음. Qwen3.8-27B(unsloth 6K UD quants)와 함께 사용 중.

공유해주셔서 감사합니다!!

별말씀을요. 현재 작업 중인 도구가 몇 개 더 있는데 아직 공개할 준비는 안 됐음. 그중 하나는 'assurance'인데, 위험 및 수용성 기능을 갖춘 요구사항 시스템임. 그래서 추적 기능 등을 통해 테스트와 결과를 규제 준수 수준의 감사 가능성으로 요구사항에 직접 연결할 수 있음.

요구사항, 설계, 테스트를 공식화한 것이 결과물에 엄청난 차이를 만들었음. 그리고 '관찰은 테스트보다 낫고, 테스트는 시뮬레이션보다 낫고, 시뮬레이션은 가정보다 낫다'는 원칙이 정말 큰 도움이 됐음.

작은 모델들도 상세한 프레임워크와 작은 단위의 작업을 주면 놀라울 정도로 잘 작동함.

https://github.com/uraniumchonk/llm-engine-qwen-optimization

우리가(에이전트가 lol) vllm 0.33.0에서 Qwen3.x에 특화된 커널을 최적화했음.

그냥 더 빠르고 무손실임. (디코드 평균 +30%~40%)

또한 이 레포는 에이전트가 따라 할 수 있는 방법론을 공개하고, 너만의 엔진 스택 설정을 최적화할 수 있게 해줌.

https://github.com/legislat/SimpleHarn

Win/Linux 환경의 NVIDIA GPU 하나에서 스마트 VRAM 및 RAM 관리 기능을 갖춘 간단한 모델 스와퍼임. 오버커밋 없고, 명확한 거부 기능 포함.

로컬 모델에서 실행되는 학습 앱, Aula: https://github.com/luumlabs/aula

슬라이드, 노트, 예전 시험 문제(혹은 그냥 주제 입력)를 넣으면 코스를 만들어줌: 짧은 강의, 진행하면서 채점되는 연습 문제, 플래시카드, 실제 시험과 같은 형태의 모의고사, 시험일까지의 간격 학습 일정. 또한 Canvas / Moodle / Classroom / Blackboard에서 자료를 가져와 마감일이 포함된 캘린더를 유지함.

여기서 로컬이 중요한 이유: 슬라이드는 종종 타인의 저작물이고, 한 학기 전체 분량임. 그걸 클라우드 API에 넘기는 게 껄끄러운 부분임. llama.cpp, Ollama, LM Studio의 OpenAI 호환 엔드포인트를 가리키므로 로컬 모델을 쓰면 아무것도 기기 밖으로 나가지 않음.

다른 학습 앱들과 비교: 내가 아는 앱들은 플래시카드에서 시작해서 끝나거나 LMS 가져오기 기능이 아예 없음. 여전히 그들이 더 나은 점: Anki의 스케줄러와 덱 생태계는 내 것보다 훨씬 성숙하고, Quizlet은 경쟁할 수 없는 라이브러리를 가지고 있음. 내 SRS는 Anki에 비하면 기초적인 수준임.

테스트 방식: 아내의 학위 과정을 위한 도구로 시작했고 대부분의 수정 사항은 아내가 실제 수업 자료로 매일 사용하면서 나온 것들임. Electron, GH 릴리스, AGPL-3.0. 아직 초기 단계라 완성된 척하기보다는 작은 로컬 모델이 튜터링에서 어디서 무너지는지 듣고 싶음.

Izwi: 로컬 음성 모델을 위한 오픈소스 앱

레포: https://github.com/izwi-ai/izwi

Rust로 만든 데스크톱 앱, CLI 및 서버(Apache-2.0)로, 로컬 머신에서 오픈 웨이트 음성 모델을 실행함: TTS, 화자 라벨이 포함된 전사, 음성 복제, 텍스트 설명으로 음성 디자인, 그리고 OpenAI 호환 API 기반의 실시간 음성 채팅. Metal, CUDA 및 CPU 지원.

왜 바꾸는가: 로컬 음성은 보통 모델당 파이썬 레포 하나를 의미함. Izwi는 파이썬 없이 바이너리 하나로 약 30개의 모델(Whisper, Parakeet, Kokoro, Qwen3-TTS, Chatterbox, Maya1 등)을 실행함.

한계: 일부 모델은 Apple Silicon에서 실시간보다 느리고, 큰 모델들은 16GB 안에 다 들어가지 않음.

데모 (46초, 모든 음성은 로컬에서 생성됨):

https://github.com/bigattichouse/robust

실험 설계를 위한 Morris/Sobol/Taguchi/Pareto 배열. 내 홈랩 작업(배터리 화학 실험)뿐만 아니라 소프트웨어에서도 마찬가지임. 가능한 매개변수가 많지만 무엇을 조정해야 할지 확실하지 않고 일부는 단순히 트레이드오프일 때, 이 도구들은 무엇이 정말 중요한지 찾는 과정을 획기적으로 개선하고 다양한 값을 시도하게 해줌.

LLM을 하드웨어에 맞추기 위해 파라미터를 조정하는 예시: https://github.com/bigattichouse/llama-optimize

소스 코드 github.com/trustant/trustant, 데모 및 문서는 trustant.ai에서 확인 가능.

어제 우리는 프라이빗 클라우드를 위한 로컬 AI 기반 오픈소스 풀스택 애플리케이션 빌더인 Trustant 1.0.2를 출시했음. 간단히 말해, Lovable과 같지만 전부 프라이빗함. 빌더를 설치하고, 프롬프트와 WYSIWYG으로 앱을 만들고, 서버에 게시하면 됨. 시스템이 모든 것을 제공함: 환경이 포함된 VM, 코딩 에이전트, 데이터베이스/캐시/스토리지/faas가 포함된 서버리스 환경 등. 박스 형태의 클라우드임.

빌더는 PC에서 실행되며 로컬 AI(또는 모든 OpenAI 호환 AI 서비스, 기본적으로 Ollama Cloud 제공)를 사용하고 Apache OpenServerless 기반의 서버리스 애플리케이션을 생성함. 그 후 애플리케이션을 어디에나 배포할 수 있음. 서버리스 패키지를 설치하기만 하면 어떤 서버든 서버리스가 됨!

시스템은 SQL 및 벡터 데이터베이스(pgsql 및 milvus), 캐시 및 S3(redis 및 seaweedfs), faas 함수(openwhisk)를 이해하고 포함하며 안전을 위해 PC의 가상 머신에서 실행됨.

생성된 애플리케이션은 openserverless만 설치하면 어떤 서버에든 게시할 수 있음. 애플리케이션은 깔끔하고 인식 가능한 React+Python 형태임(원하는 스타터를 제공한다면 다른 언어도 가능).

우리는 1년 동안 이 작업을 해왔고, Apache OpenWhisk에서 수년간 작업한 후 또 다른 다년 프로젝트인 Apache OpenServerless를 기반으로 구축했음.

gmlx는 macOS에서 K 및 IQ 양자화 GGUF 모델(일부 삼진 양자화, NVFP4 등 포함)을 실행하거나 학습하기 위한 CLI이자 OpenAI/Anthropic 호환 서버임.

docs: https://asher.github.io/gmlx/

src: https://github.com/asher/gmlx

install: brew install asher/gmlx/gmlx

GGUF 와이어 형식을 읽도록 설계된 Metal 커널이 있는 MLX 백엔드를 사용하여 대부분의 GGUF를 제로 카피 mmap으로 사용할 수 있음. DeepSeek-V4.1을 antirez의 ds4보다 빠르게 실행하며, DeepSeek-V4/V4.1의 ds4 및 unsloth GGUF를 모두 지원함. 또한 추측 디코딩을 위한 DFlash 2 드래프터를 지원하여 Qwen3.8-27B(Q6_K)에서 디코드 속도를 3배까지 높일 수 있음. gmlx는 7월부터 매주 릴리스하며 활발히 개발 중임. 커널은 MIT 라이선스 패키지로 별도 릴리스됨: https://github.com/asher/mlx-kquant

또 다른 macOS 추론 플랫폼이지만, 성숙해지고 있고 파워 유저를 위한 아주 좋은 기능들이 있음. Apple Container를 사용하여 마이크로VM에서 코딩 하네스나 로컬 에이전트를 샌드박스화할 수 있고, 무엇을 공유할지 쉽게 설정 가능(TCP 네트워킹 없이 실행하는 것도 지원하며, 이때 추론은 Rust 프록시를 통해 유닉스 도메인 소켓으로 gmlx 서버에 프록시됨). 건드릴 필요는 없지만 요청별로 다른 시스템 프롬프트, 샘플링 파라미터, 사고 예산을 정의할 수 있는 표현력 있는 YAML 설정이 있음. LoRA를 쌓을 수 있고, 기본 가중치 복사본 하나만 상주시켜 모델에 대한 배치 호출 및 모델+LoRA의 다양한 조합을 허용함. 학습에 관심이 있다면, 일반적인 파인튜닝 접근 방식 외에도 토크나이저 간에 작동하는 오프라인 Top-K 모델 및 컨텍스트 증류 지원도 있음.

최신 이미지 모델(MOSS, Qwen-Image 2.1, FLUX klein, Krea 2, Z-Image)이 지원되며, H3를 통한 비디오 생성도 가능함(더 많은 비디오 모델 곧 추가 예정). 오디오 모델도 지원되며, 화자 분리가 포함된 전사 기능과 도구, 메모리, 웨이크워드 커스터마이징이 가능한 음성 비서도 있음. SystemOne API를 사용하는 의사결정 모델도 지원함.

https://expectfun.github.io/umem/

내 48GB MacBook Pro에서 실행할 수 있는 로컬 모델에 관한 새로운 개인 블로그임.

이런 블로그에 수요가 있는지 확신이 안 서서 일단 글은 하나뿐임. 그래서 묻고 싶음: 이 아이디어가 가치 있게 들림? 아니면 비슷한 내용을 쓰는 블로그가 너무 많아서 내가 헛수고하는 거임? 더 노력해야 할까, 아니면 그만둘까?

여기 뉴비임(방금 맥북을 사서 드디어 27B급 모델을 돌릴 수 있게 됨). 로컬 모델 여정의 시작이라서 기록을 남기면 좋을 것 같았음: 모델의 능력과 한계를 문서화하고, 어떤 작업을 시켰고 얼마나 성공했는지 적어두는 것.

첫째, 이 정도 크기의 로컬 모델이 자신에게 유용할지 이해하는 데 도움이 될 수 있음. 둘째, 모델의 능력이 진화함에 따라 로컬 LLM 진화의 연대기가 될 수도 있음. 아이디어는 새 글을 쓸 때마다 로컬 모델이 해당 글을 위한 특정 HTML 페이지를 만드는 것(공유 템플릿 없음). 그래서 새로운 모델이 나올 때마다 글의 디자인도 시간이 지남에 따라 진화하며 그 진화를 보여줄 것임.

나는 모든 안전한 Rust OS, 추론 엔진, 커널, 튜닝/최적화/관리/진단/채팅/학습 패널을 구축했음. 헤드리스로 실행됨. 전부 이미지로 구워냈음. 위키도 완성함. USB 부팅 가능하니 드라이브 연결을 해제하고 격리해도 됨. Hugging Face에서 모델을 로드함. 테스터가 정말 필요함

정말 쉽게 만들었고 내 7900xtx에서 같은 설정의 llama보다 qwen3.8 27b를 더 빠르게 돌림. 내 Rust 커널은 아직 작업이 필요해서 리눅스 커널 7.4 RC2가 기본으로 포함됨. OS/패널/7.4 rc2 커널은 AI를 헤드리스로 실행하기 위해 특별히 제작되었기 때문에 우분투보다 llama, vllm, camelid 등을 더 빠르게 실행할 수 있음.

다운로드해서 balena etcher로 USB에 설치하고, 부팅하고, 테스트하고, 보고해줘. 나에게 업로드할 수 있는 디버그 키트가 있음. 전체 소스 코드는 비공개 git에 있고, 자금 조달 옵션을 탐색하면서 오픈소스로 할지 결정 중임. 정 의심되면 USB 스틱을 감사해도 좋지만, 시도도 안 해보고 여기서 헛소리하지 마.

최근 더 많은 성능 향상으로 업데이트됨. unsloth의 새로운 3.1 27b를 아주 잘 돌리고, Hugging Face에 내 자체적인 abliterated 품질 코더도 있음.

https://github.com/W61k3r/LexiSuite-Releases/releases/tag/LexiSuiteT8

https://github.com/W61k3r/LexiSuite-Releases/wiki

https://huggingface.co/Wa1k3r/Qwen3.8-27b-CODER-4q_xs-24GB-262k-Optimalcardfit

https://github.com/bendyline/docblocks
https://docblocks.com/desktop/

DocBlocks - Windows, Mac, Linux용.

콘텐츠를 요약하고 DOCX, PPTX, 비디오 등으로 내보낼 수 있는 OSS/MIT 무료 마크다운 편집기임. 콘텐츠를 위한 '맥가이버 칼'을 만들려고 노력 중임. 나는 이걸 매일 콘텐츠 편집, 블로그 업데이트, 그리고 (여전히 좀 형편없는) 비디오 제작에 사용함.

그리고 로컬 LLM 지원도 있음! 설정의 AI 항목에서 Qwen 3.8이나 Gemma E4B 같은 작은 모델 등 로컬 모델을 선택하고 다운로드할 수 있음(Mac에서는 Apple Foundation 모델 사용 가능). 로컬 모델을 사용해 콘텐츠를 검토(예: 이력서 검토)하거나, 새 콘텐츠를 생성하거나, 이미지나 SVG 다이어그램을 생성하고, 슬라이드를 위해 콘텐츠를 요약할 수 있음.

(추가로 받아쓰기/나레이션 기능도 내장되어 있음.)

여전히 견고함을 더하고 있고 콘텐츠 편집 작업에 유용한 모델(예: ~1B 모델은 보통 작동 안 하지만 4B+ 모델은 사용 가능)의 경계가 어디인지 테스트 중임. 폰에서 로컬 모델을 사용하는 모바일 앱 출시도 고려 중임.

mlxVS: Mac을 위한 cuVS.

MLX 기반의 Apple Silicon용 GPU 벡터 검색.

MacBook Pro에서 10초 만에 100만 개의 벡터를 인덱싱하고, CPU HNSW 대비 2배 빠른 97.6% 재현율로 초당 7만 개의 쿼리를 처리함.

https://github.com/mikepapadim/mlxvs

Aula — 로컬 모델에서 구동되는 무료 오픈소스 개인 튜터임. 노트, 슬라이드, 지난 시험 문제나 그냥 주제만 던져주면 코스를 만들어줌: 대화형 레슨, 즉시 채점되는 연습 문제, 플래시카드, 모의고사, 그리고 현재 학습 진도와 계속 틀리는 부분을 파악하고 있는 튜터 챗봇까지. llama.cpp, Ollama, LM Studio에서 돌아가니까 데이터가 기기 밖으로 나갈 일이 없음. 레포: https://github.com/luumlabs/aula

만든 이유: 아내가 수업 때문에 힘들어했음. 선생님들이 AI로 일반적인 연습 문제를 만들라고 시켰는데, 아내는 여전히 내용을 이해 못 했거든. 그냥 챗봇이 아니라, 아내를 가르쳐주고 틀린 부분을 추적해 줄 무언가가 필요했음.

기존 방식과의 비교: 일반 챗봇은 구조가 없고 실수를 기억 못 함; Quizlet이나 Anki는 카드 학습엔 좋지만 가르쳐주지는 않음; 호스팅형 AI 튜터는 서버에 노트를 올리라고 하고 구독료를 요구함. Aula는 로컬 우선의 중간 지점임: 제대로 된 코스 구조와 피드백 루프를 갖췄고, 무료이며, AGPL-3.0 라이선스에 macOS/Windows/Linux 지원함.

어떻게 만들었나: 솔직히 Claude Code를 썼음. 레포에 CLAUDE developer-notes 파일이 있고, 커밋 105개 중 90개에 Claude가 공동 저자로 찍혀 있음. 오후 내내 프롬프트만 쳐서 만든 게 아니라는 증거: 두 달 동안 매일 작업했고, 오늘 v0.2.3 릴리즈함. 순수 엔진(채점기, 콘텐츠 검증기, 코스 모델)에는 vitest 테스트를, Electron 앱에는 Playwright e2e 테스트를 돌렸고, 매주 이걸로 공부하는 실제 사용자(내 아내)가 있어서 버그 리스트도 거기서 나옴. 가감 없는 한계점: Anki 스타일의 간격 반복(spaced repetition)은 아직 없고, Quizlet 가져오기는 기초적인 수준임, 8B 모델은 숫자 계산을 힘들어함(수학은 14B+ Q4 모델 사용 권장).

로컬 모델을 매일 쓰는 분들 의견이 궁금함: 본인 노트를 활용하는 학습 앱에 어떤 기능이 있으면 좋겠음?

원문r/LocalLLaMA