WSL/Ubuntu에서 llama.cpp를 관리하는 윈도우 앱을 만들었습니다

호환성 힌트 및 동반 projector/mmproj 처리를 포함한 모델 다운로드/등록

제가 이 앱을 만든 주된 이유는 지루한 설정 작업을 일반적인 윈도우 소프트웨어처럼 느끼게 하고 싶었기 때문입니다. UI를 클릭하고, 무엇이 설치되었는지 확인하고, 무엇이 누락되었는지 보고, 런타임을 빌드하고, 모델을 다운로드하고, 시작 설정을 선택하고, 무슨 일이 일어나고 있는지 완전히 제어하면서 실행하는 것입니다.

몇 가지 참고 사항:

• 이 앱은 윈도우 우선 앱입니다. 실제 llama.cpp 런타임은 Ubuntu/WSL에서 실행됩니다.

• 모델 서빙은 기본적으로 로컬 전용입니다.

• 현재 앱은 한 번에 하나의 활성 서빙 모델을 중심으로 작동합니다.

• 첫 번째 공개 릴리스는 서명되지 않았으므로 Windows SmartScreen에서 경고가 뜰 수 있습니다. 릴리스 아티팩트와 함께 SHA-256 파일이 포함되어 있습니다.

• 이 앱은 llama.cpp 또는 ggml-org와 제휴하거나 보증받지 않았습니다.

저는 한동안 로컬에서 이 앱의 더 단순한 버전을 사용해 왔으며, 다른 윈도우 사용자들에게 유용할 수 있도록 다듬어 공개했습니다. 향후 계획된 작업으로는 더 빠른 모델 전환, 실용적인 경우 RAM에 모델을 따뜻하게 유지하는 것, 그리고 궁극적으로 한 번에 하나 이상의 모델을 로드하는 것을 지원하는 것이 포함됩니다.

저는 AMD GPU를 소유하고 있지 않으므로, Vulkan 설치/빌드 경로는 AMD 하드웨어에서 직접 검증되지 않았음을 참고해 주시기 바랍니다.

진짜로 그냥 git clone 해서 빌드하면 끝인데, 크론 스케줄이든 이벤트 트리거든 사용자 개입도 필요 없음. 네 앱이랑 다르게 클릭할 필요도 없고 다 자동임. PC에 항상 있는 레포 가지고 뭘 검색이니 뭐니 하는지 모르겠네. LLM한테 빨리 하는 법 물어보는 것조차 귀찮아하면 대체 왜 토론하는 거임?