r/LocalLLaMA•5개월 전•73•13
llama.cpp로 로컬에서 구동하는 자동화된 AI 연구원
Automated AI researcher running locally with llama.cpp
핵심 요약
Hugging Face 라이브러리와 연동하여 로컬 환경에서 24시간 AI 연구원 에이전트를 구동할 수 있는 ml-intern 도구 소개.
- ml-intern 도구 — Hugging Face 라이브러리와 긴밀하게 통합된 에이전트 프레임워크 제공.
- 로컬 모델 지원 — llama.cpp와 ollama를 통해 Claude Opus 없이도 로컬에서 에이전트 워크플로우 실행 가능.
- 지속적인 연구 — 노트북 환경에서 24시간 내내 토큰 제한 없이 AI 연구원 에이전트 구동 가능.
- 성능 검증 — Qwen3.6-35B-A3B 모델을 활용해 CPU/GPU 샌드박스에서 모델 SFT까지 자동화 성공.
안녕하세요 여러분, Hugging Face의 오픈 소스 라이브러리(transformers, datasets, trl 등) 및 Hub 인프라와 더 긴밀하게 통합된 에이전트용 하네스인 ml-intern을 공유하게 되어 기쁩니다:
https://github.com/huggingface/ml-intern
이 하네스는 매우 간단하며(기본적으로 도구 + 시스템 프롬프트), 처음에는 Claude Opus를 위해 만들었습니다. 하지만 이제 오픈 모델들도 에이전트 워크플로우를 아주 잘 수행하게 되었기에, llama.cpp나 ollama를 통해 로컬 모델로 ml-intern을 실행할 수 있는 기능을 추가했습니다. 영상에서 보시는 것처럼 Qwen3.6-35B-A3B는 CPU/GPU 샌드박스와 Hub 작업을 오케스트레이션하여 모델을 처음부터 끝까지 SFT(미세 조정)할 수 있습니다. 이제 노트북에서 24시간 내내 토큰 제한에 걸릴 걱정 없이 AI 연구원을 돌릴 수 있다는 점이 정말 멋지다고 생각합니다 :)
아무쪼록 커뮤니티에 도움이 되길 바라며, 추가했으면 하는 기능이 있다면 알려주세요.
