회사용 4x 6000 Pro 서버 구축
4x 6000 Pro for the company
핵심 요약
보안과 비용 효율성을 위해 5만 5천 유로를 들여 사내 로컬 AI 인프라를 구축한 사례입니다.
- 하드웨어 사양 — 4x 6000 Blackwell MaxQ, 384GB DDR5, AMD EPYC 9275F 구성
- 운영 환경 — Proxmox 기반 LXC 컨테이너에서 vLLM 및 llama.cpp 구동
- 주요 모델 — Deepseek V4 Flash, Qwen 3.8 27B, K2-Horizon 7B 활용
- 도입 목적 — 고객 데이터 보안 유지 및 무제한 토큰 사용 환경 확보
내가 40명(개발자 10명 포함)한테 로컬 AI 서비스 어떻게 제공하는지 알려줌.
-
자동화는 n8n 씀.
-
whisper랑 Vexa AI 써서 봇이 Teams 회의 들어가서 녹취 따고, 나중에 n8n이 결정 사항이랑 할 일 정리함.
-
OpenWebUI는 다 같이 쓰는 ChatGPT 같은 웹 인터페이스임. 에이전트 기능은 대부분 막아놨고, Tavily를 통한 웹 검색 정도만 가능함.
-
개발자들은 각자 API 키 하나씩 쥐여줌. BiFrost(OpenAI 호환 API 라우터) 써서 필요한 데 쓰라고 함.
-
개발자마다 에이전트 깔아서 쓸 수 있게 로컬 리눅스 VM 하나씩 할당함.
-
서버는 4U 사이즈에 6000 Blackwell MaxQ 4개, DDR5 384GB, AMD EPYC 9275F 24코어 CPU 박아 넣음.
-
Proxmox 돌리고, 모델이나 앱은 전부 LXC 컨테이너 안에서 Cuda 13.3, Debian 13, 드라이버 595 버전으로 구동함.
-
메인 모델은 vLLM 얹은 Deepseek V4 Flash, GPU 점유율 0.55, TP4, 컨텍스트 1M임.
-
폴백 모델은 llama.cpp 얹은 Qwen 3.8 27B Q8, 컨텍스트 265K(Q8)임.
-
미니 모델은 llama.cpp 얹은 K2-Horizon 7B Q6, 컨텍스트 64K(Q8)임.
-
마케팅용 이미지랑 영상 뽑을 땐 ComfyUI 씀.
-
임베딩/리랭킹은 Geofront/BGE-M3-GGUF:BF16이랑 sinjab/bge-reranker-v2-m3-F16-GGUF를 llama.cpp로 돌림.
-
서버 구축 비용은 총 5만 5천 유로 정도 들었음.
-
6000 Blackwell MaxQ 2개 들어간 백업 서버도 추가할 예정임.
궁금한 거 있으면 물어봐라.
