r/LocalLLaMA•4개월 전•128•36
로컬 에이전트를 스스로 최적화하는 에이전트로 만들기
Turning local agents into self-optimizing agents
핵심 요약
로컬 LLM의 대화 로그를 분석해 스스로 학습하고 시스템 프롬프트를 개선하는 에이전트 파이프라인 프로젝트 소개.
- 벤치마크 성능 향상 — TerminalBench에서 30%에서 90%까지 성능 개선함.
- 자동 학습 루프 — 대화 로그를 분석해 핵심 교훈을 추출하고 skills.yaml에 저장함.
- 시스템 프롬프트 주입 — 추출된 교훈을 향후 대화의 시스템 프롬프트에 자동으로 반영함.
- 간편한 실행 — LM Studio와 연동해 간단한 명령어로 즉시 실행 가능함.
TerminalBench 벤치마크 순위를 올리기 위해 스스로 최적화하는 에이전트 파이프라인을 실험 중임.
10개 작업 서브셋에서 성능을 약 30%에서 90%까지 끌어올렸음.
이 루프가 잘 작동해서, 벤치마크가 아닌 일상적인 대화에서도 똑같은 '반성하고 다시 쓰기(reflect-and-rewrite)' 단계를 계속 실행할 수 있지 않을까 하는 의문이 들었음.
작동 방식
- 로컬 LLM과의 모든 대화는 작은 프록시를 거쳐 기록됨.
autoswarm reflect가 로컬 모델을 사용해 로그를 검토하고 구체적인 교훈을 추출하여skills.yaml에 기록함.- 교훈은 향후 대화의 시스템 프롬프트에 자동으로 주입됨.
실행 방법 (LM Studio 기준)
- LM Studio의 로컬 서버를 시작하고 모델을 로드함.
-
pip install -e .
autoswarm doctor # LM Studio 연결 확인
autoswarm start # 업스트림 및 모델 자동 감지, :8080 포트 리스닝
스스로 최적화하는 에이전트라는 아이디어에 정말 매료되었고, 여기서 더 큰 가능성을 발견할 수 있다고 믿음.
다만, 이건 취미 프로젝트일 뿐이고 아직 실험 중임. 피드백 주시면 감사하겠음!
링크: [https://github.com/arteemg/autoswarm](https://github.com/arteemg/autoswarm)
프로젝트를 계속 개발 중이니, 업데이트 소식을 받으려면 [**⭐ 저장소에 별**](https://github.com/arteemg/autoswarm/)을 눌러주길 바람.
