Valet: 로컬 LLM으로 홈랩을 관리해보세요 (오픈 소스)

로컬 LLM을 홈랩 돌리는 데 쓰는 게 진짜 최고임. 데이터 다 내 로컬에 남고, 무엇보다 그래픽카드 산 거 정당화하기 딱 좋거든 ㅋㅋ

서비스들 한 번에 관리하려고 대시보드 하나 만들었는데, 그게 바로 Valet임. 라이브 데모는 여기: https://demo.askvalet.dev

Valet에는 로컬이든 클라우드든 모델 아무거나 붙여서 쓸 수 있는 챗 에이전트가 들어있음. 서비스 185개 넘게 연동되고 커스텀 플러그인도 지원함. pi-hole 일시 정지시키거나, 크래시 로그 분석하거나, 영화 요청하는 거 같은 거 다 시킬 수 있음.

자기 문서도 다 학습해서 스스로 설정도 바꿈. 대시보드에서 뭐 바꾸고 싶다고 말만 하면 알아서 설정 파일 수정해줌(물론 승인 버튼 눌러야 함). 원래 홈 화면 꾸미는 거 좋아했는데 이거 덕분에 훨씬 재밌어짐 ㅋㅋ

사용 환경

Qwen 3.8 27B 모델을 5090으로 돌리는데, 대충 230 tok/s 정도 나옴. 답변은 보통 2~5초면 뜸.

Qwen이 내가 만든 간단한 평가셋은 90% 정도 통과함. 근데 "이 타이머 왜 안 돌아가?" 같은 오픈형 질문 던지면 툴 콜을 미친 듯이 남발하면서 헤매는 경향이 있음.

서비스를 워낙 많이 돌리다 보니 컨텍스트 관리하는 게 좀 빡셈. 최적화하기 전에는 툴 정의만으로 프롬프트의 90%가 찼었음.

도움 됐던 것들:

• 채팅에 필요 없는 연동 툴은 아예 숨겨버림.

• Thinking 끄면 속도는 2~3배 빨라지는데, 후속 질문에 헛소리 지어내는 경우가 생김.

• 툴 레이지 로딩(처음엔 툴 리스트 짧게 가져가고, 질문에 필요할 때만 추가로 불러옴).

이걸로 답변당 토큰 사용량을 30~50% 줄였음. 당연히 모델이랑 환경마다 다르니까 설정 파일에서 다 조절 가능하게 해놨음.

AI 활용

나 소프트웨어 엔지니어라 코딩은 거의 다 Claude 시켜서 했음. 근데 설계랑 검토는 내가 직접 했고 아키텍처 결정도 내가 다 함. 퀄리티 챙기려고 슬롭(slop), 보안, 성능 엄청 신경 썼는데, 아직 초기 버전이라 내가 못 잡은 버그가 있을 수도 있음.

보안 및 개인정보:

계정 생성이나 텔레메트리 없이 니 하드웨어에서 직접 돌아감.

• 기본적으로 읽기 전용임. 인증(로컬 계정, OIDC, 프록시 인증 등) 켜기 전까진 페이지에서 아무것도 못 바꿈.

• 키는 서버에만 저장되고 API 키는 .env에 박혀 있음. 브라우저는 완성된 카드 정보만 받음.