회사에서 24시간 내내 돌아가는 자동화 AI 에이전트를 개발하라고 하네요
My work is now requesting me to develop automated worker ai agents that can work 24/7
핵심 요약
클라우드와 로컬 모델을 결합해 스스로 조직을 관리하고 진화하는 자율형 AI 에이전트 시스템을 구축 중인 개발자의 고민.
- 하이브리드 AI 시스템 — 클라우드 모델로 추론을, 로컬 모델로 메모리와 컨텍스트 관리를 처리함.
- 자율적 에이전트 관리 — AI 어드바이저가 성과를 분석해 에이전트를 채용, 해고, 재배치하며 스스로 조직을 개선함.
- 장기 기억 보존 — 컨텍스트 비대화 없이 완벽한 장기 기억을 유지하는 것이 가장 어려운 과제임.
- 로컬 모델 활용 — 비용 절감과 효율적인 메모리 인덱싱을 위해 로컬 LLM을 적극적으로 활용함.
저는 Mac Studio에서 클라우드 모델과 로컬 LLM을 결합한 하이브리드 AI 시스템을 구축하고 있습니다.
클라우드 모델은 추론을 위한 '두뇌' 역할을 하고, 로컬 모델은 메모리, 컨텍스트 보존, 지식 인덱싱, 메모리 압축을 처리하는 사서 역할을 하여 토큰 비용을 매우 저렴하게 유지합니다.
가장 흥미로운 부분은 어드바이저 시스템입니다.
AI 어드바이저는 회의 보고서, 작업 성과, 의사소통 패턴, 효율성 지표를 통해 작업자 에이전트들을 지속적으로 검토합니다. 분석 결과를 바탕으로 다음과 같은 작업을 수행할 수 있습니다:
• 새로운 AI 작업자 채용
• 성과가 저조한 에이전트 해고
• 워크플로우 재작성
• 행동 지표 조정
• 책임 재배정
• 인간의 감독 거의 없이 매주 조직을 지속적으로 진화
기본적으로 스스로 관리하고 개선하는 AI 회사를 만드는 셈이죠.
지금까지 가장 어려운 문제는 컨텍스트 비대화 없이 거의 완벽한 장기 기억 보존을 구축하는 것입니다. 솔직히 이런 역할에는 로컬 모델이 매우 저평가되어 있다고 생각합니다.
혹시 저처럼 이런 식으로 스스로 진화하는 에이전트 시스템을 구축하고 계신 분이 또 있나요, 아니면 제가 서서히 미쳐가고 있는 건가요 lol



