엔진들이 번갈아 가며 사용한다면 24GB VRAM도 충분합니다
24GB is plenty if your engines take turns
핵심 요약
VRAM 부족 문제를 해결하기 위해 여러 AI 엔진을 자동으로 교체하며 실행하는 시스템 'Berth'를 소개합니다.
- 자동 엔진 교체 — VRAM 점유 문제를 방지하고 필요할 때마다 엔진을 자동으로 로드함
- 다양한 호환성 — Llama, ComfyUI, OpenWebUI 등 여러 엔진을 하나의 GPU에서 원활하게 전환함
- API 지원 — Berth를 API 엔드포인트로 사용하여 커스텀 엔진을 쉽게 연동할 수 있음
- 게임 중단 방지 — 게임 실행 시 GPU 자원을 침범하지 않도록 지능적으로 관리함
니 카드 감시하다가 니가 원할 때, 원하는 대로 알아서 스왑하고 로드해주는 시스템 서비스임.
수동으로 스왑할 필요도 없고, 충돌도 방지해주고, 실행 중인 기능에 VRAM을 100% 몰빵해줌 (VRAM 쳐먹고 안 놓아주는 놈들 없음).
나도 리눅스 쓰면서 매일 빡치는 일이 있었음. 노드 프로세스가 고아(orphan)가 돼서 좀비처럼 떠 있거나, ComfyUI가 자동으로 켜져서 Strata가 써야 할 VRAM 500MB를 꽉 잡고 안 놓아주는 거임. 엔진 하나하나 켤 때마다 스트레스받기 싫고, Strata나 Llama가 꼬여서 안 꺼지거나, 예전 워크플로우 때문에 ComfyUI에 Flux GGUF가 남아있는지 일일이 확인하는 것도 개귀찮았음.
난 지금 Ninfer-4090 (llama-swap), Strata, ComfyUI, OpenWebUI 사이를 존나게 왔다 갔다 하는데, 이 모든 걸 RTX 4090 하나로 다 돌림.
밤에는 서버가 알아서 Hermes 돌리게 놔두고, 낮에는 내가 다시 카드 가져와서 쓰는 식으로도 가능함. 신경 쓸 거 하나도 없고, 언제 뭐가 어떻게 돌아갔는지 다 확인 가능함.
Berth는 엔진들을 API로도 쏴주니까, 네이티브로 스왑하고 싶을 때 Berth를 API 엔드포인트로 잡으면 Strata, Polystrata나 다른 커스텀 엔진들도 다 불러올 수 있음.
게임할 때도 개꿀임. 게임하거나 커스텀 워크플로우 돌릴 때 크론 잡(cron job)이나 다른 요청이 갑자기 카드 뺏어갈까 봐 걱정할 필요가 없음.
