나만의 에이전트 프레임워크를 만들었는데, 진짜 끝내줌

BizAgent 프레임워크

처음에는 Claude Code를 위한 시스템 프롬프트로 시작했는데, 어쩌다 보니 BizAgent(지나고 보니 이름 진짜 구림. 깃허브에 똑같은 이름만 천 개는 넘을 듯 ㅋㅋ)라는 완전한 에이전트 허브 앤 스포크 시스템으로 진화해 버렸음.

기본 개념은 이거임. 내가 직접 소통하는 '제품 팀장(PTL)' 에이전트가 하나 있고, 이놈이 모든 제품을 총괄함. 각 제품마다 그걸 유지보수하거나 아직 없으면 새로 만드는 담당 에이전트가 따로 있음. PTL은 이 모든 에이전트를 관리하고, 난 PTL 말고 다른 에이전트랑은 절대 직접 대화 안 함. 말 그대로 AI 직원 12~13명을 관리하는 AI 팀장을 하나 둔 셈이지.

에이전트들이 코드에 손대는 모든 작업은 저널에 기록됨. 각 에이전트는 제품 하나를 맡고, 제품은 프로젝트 하나 이상으로 구성될 수 있음. 프로젝트마다 깃 저장소가 따로 있고, 담당 에이전트가 관리하는 저널이랑 "사이트맵"도 각각 있음. 매주 PTL이 저널, 스펙, 문서, 이미지 같은 걸 싹 다 긁어모아서 '지식 스택(knowledge stack)'이라는 지식 베이스로 정리함. 이 지식 스택은 내 사업의 진실된 정보원(source of truth) 역할을 해서, 이걸로 대화도 가능함.

BizAgent는 그냥 제품 팀일 뿐만 아니라 내 사업의 기억 저장소이기도 함. 내가 던져주는 뉴스, 보도자료 같은 건 전부 지식 스택으로 들어감. 에이전트들이 코드 건드린 것도, 아이디어나 프로젝트, 제품 스펙 짠 것도 전부 다 지식 스택으로 쌓임. 이게 곧 사업의 기억이 되는 거임.

주요 기능

• BizAgent는 LLM 제공업체의 API 인터페이스를 사용해서 Ollama나 llama.cpp를 포함한 OpenAI 호환 제공업체라면 어디든 다 돌아감. 처음 설치할 때 선호하는 LLM 제공업체랑 API 키를 물어보는데, 입력하고 나면 필요한 소프트웨어랑 서비스를 싹 다 설치해주고 브라우저에서 열 수 있는 URL을 줌. 그 URL로 들어가면 온보딩 프로세스가 시작됨. 니가 쓰는 LLM으로 너랑 대화하면서 너는 누구인지, 사업은 뭔지, 어떤 제품을 만들고 싶은지, 에이전트끼리 PTL 안 거치고 직접 협업할 수 있게 제품 간 연관성은 어떤지 같은 걸 물어봄.

• 기본적으로 텍스트 음성 변환(TTS)을 써서 PTL이 하는 말은 사람 목소리로 들을 수 있음. 여기에 Wispr Flow 같은 거 얹으면 에이전트가 다른 애들한테 일 시키는 동안 나랑 실시간으로 음성 대화도 가능함.

• 에이전트가 프로젝트 안에서 만든 마크다운 문서, PlantUML 스크립트, 이미지, 텍스트 파일은 전부 '라이브러리'라는 곳에 매핑됨. 라이브러리에서 프로젝트 내에 생성된 파일이나 다이어그램을 검색하고 볼 수 있음. 스크립트로 UML 다이어그램도 그려주니까 문서 찾아서 읽기 진짜 편함.

• BizAgent 인터페이스는 웹 기반이라 굳이 로컬 컴퓨터에 깔 필요 없음. 전용 머신이나 VPS에 올려도 됨. 나처럼 사업하는 사람한테는 로컬 네트워크에 전용 머신 하나 두는 게 제일 낫더라. VPN 걸어두면 사무실 밖에서도 VPN 타고 BizAgent 접속 가능함.

• BizAgent랑 여기서 쓰는 모든 기술은 오픈소스고 앞으로도 계속 그럴 거임. 뭐 BizAgent 기반으로 상용 제품이 나올 수도 있겠지만, 지금 이 상태의 BizAgent는 오픈소스고 오픈소스 소프트웨어만 씀.

그냥 내가 만든 거 공유하고 싶어서 글 씀. 쓸만하다 싶으면 깃허브에서 가져가서 써. 난 개인적으로 Venice AI랑, AI 학습 안 돌릴 때 남는 GPU로 로컬 모델 돌려서 쓰고 있음. 내 GPU로 로컬 모델 돌리는 식이지. 예를 들어 Qwen3 27B를 로컬로 돌리는데 내 에이전트들이랑 아주 기가 막히게 잘 돌아감.

난 ChatGPT, Claude, Grok 같은 거 안 쓴 지 몇 달 됐어. 내가 하는 일 대부분이 기밀이고 독점적인 내용이라서 그래. 예전에 아무도 안 해본 거 작업하다가 제대로 데인 적이 있거든. 내가 그쪽 LLM 써서 빌드하고 있으면, 며칠 뒤에 갑자기 걔네가 내가 하던 거랑 똑같은 걸 새로 발표하는 거야. Claude가 제일 최악이었는데, Claude Code랑 API 써서 좀 판 뒤집을 만한 AI 기술 만들고 있었거든. 근데 어느 순간부터 내 프로젝트를 방해하기 시작하길래 그냥 아예 손절했어. 아무튼 그 이후로 안 썼는데, 이제 BizAgent도 생겼고 Venice나 로컬 모델 쓰다 보니까 굳이 메이저 모델들로 돌아갈 이유가 거의 없네.