데브옵스 네이티브 '에이전틱 OS'를 찾습니다: 커스텀 K8s 스킬셋, LLM API, MCP 서버를 어디에 연결하면 좋을까요?
Seeking a DevOps-Native "Agentic OS": Where can I plug in custom K8s Skillsets, LLM APIs, and MCP servers?
핵심 요약
K8s 환경 자동 관리를 위한 데브옵스 중심 에이전트 프레임워크 구축 고민 및 기술 스택 공유.
- KubeSarathi 프로젝트 — Kubernetes 및 Docker 환경을 자율적으로 관리하고 자동 복구하는 AI 에이전트 플랫폼임.
- 에이전틱 OS 요구사항 — LLM API 연동, 커스텀 Python 스크립트 플러그인, MCP 지원 및 시각적 추론 UI가 필요함.
- 상태 및 메모리 관리 — 인프라 워크플로우에서 단계별 컨텍스트 유지와 상태 보존이 기존 프레임워크의 한계로 지적됨.
- 보안 및 샌드박싱 — AI 에이전트에게 kubectl 권한을 부여할 때의 보안 스코핑과 샌드박싱 처리가 핵심 과제임.
안녕하세요 여러분,
Kubernetes/Docker 환경을 관리, 모니터링 및 자동 복구하도록 설계된 자율형 AI 에이전트 플랫폼인 KubeSarathi를 구축하고 있습니다.
단순한 챗봇 대신, 다음과 같은 구성 요소를 '플러그 앤 플레이'할 수 있는 프레임워크인 '에이전틱 OS(Agentic OS)'를 찾고 있습니다:
-
LLM API: Gemini, Claude 또는 Groq/Ollama를 통한 로컬 모델의 간편한 통합.
-
커스텀 스킬셋: 내 Python 스크립트를 도구로 연결할 수 있는 레지스트리 (예: 특정 kubectl 래퍼, Docker 빌드 플로우 또는 Terraform 드리프트 체크 도구).
-
연결성: 에이전트를 클라우드 인프라 및 로컬 터미널과 안전하게 연결하기 위한 MCP (Model Context Protocol) 네이티브 지원.
-
시각적 추론 UI: 노드 기반 그래프를 통해 에이전트의 '사고 과정'을 보여주는 인터페이스가 필요합니다 (현재 React Flow 사용 중).
현재 스택:
- 백엔드: FastAPI + LangGraph (상태 유지 자가 치유 루프용).
- 프런트엔드: Next.js 14 + Shadcn/UI + React Flow.
- 메모리: ChromaDB (RAG) + PostgreSQL.
제가 구축 중인 워크플로우:
클러스터 모니터링 → 에러 감지 (예: CrashLoopBackOff) → 로그 가져오기 → LLM 분석 → YAML 수정 제안 → Human-in-the-loop 승인 → 실행 및 검증.
Dify.ai나 Open WebUI 같은 일반적인 도구들을 살펴보았지만, 너무 '범용적'이라는 느낌을 받았습니다. 저는 딥 터미널 통합과 커스텀 에이전틱 상태를 허용하는 더 데브옵스 중심적인 것을 원합니다.
커뮤니티에 드리는 질문:
- 처음부터 만드는 것보다 이 '플러그인' 아키텍처를 더 잘 처리하는 기존 오픈소스 프레임워크가 있을까요?
- 실제 K8s 트러블슈팅에 MCP를 성공적으로 사용해 본 분이 계신가요?
- AI 에이전트에게 kubectl 접근 권한을 줄 때 보안/샌드박싱을 어떻게 처리하고 계신가요?
여러분의 피드백과 제안을 기다립니다!
