r/LocalLLaMA•4개월 전•136•39
llama.cpp 서버에 내장된 기본 도구(exec_shell, edit_file 등) 기능 추가
llama.cpp server have built-in native tools (exec_shell, edit_file, etc.)
핵심 요약
llama.cpp 서버에 파일 조작 및 셸 명령어 실행 등 강력한 도구들이 기본 내장되어 별도의 복잡한 설정 없이도 AI 에이전트처럼 활용 가능해짐.
- 내장 도구 지원 — read_file, exec_shell_command 등 다양한 도구가 추가되어 별도의 래퍼 없이도 AI 에이전트 구현 가능함.
- 실험적 기능 — 현재는 실험적 단계이며, 파일 작업 시 보안 샌드박스가 없어 사용 시 주의가 필요함.
- 사용 편의성 — .gguf 파일과 llama.cpp 바이너리만 있으면 프로젝트에서 즉시 AI 보조 기능을 활용할 수 있음.
- MCP 대체 가능 — 파일 읽기나 시간 확인 같은 간단한 작업은 복잡한 MCP 설정 없이도 기본 기능으로 해결 가능함.
최근 로컬 모델을 돌려보다가 llama.cpp 서버 문서를 뒤지던 중, 아주 흥미로운 실험적 플래그를 발견했음.
--tools TOOL1,TOOL2,...
read_file, file_glob_search, grep_search, exec_shell_command, write_file, edit_file, apply_diff, get_datetime을 기본적으로 지원함. 이 도구 세트만 있으면 llama-server가 사실상 미니 에이전트가 되는 셈임. 프로젝트에서 기본적인 AI 보조 기능을 쓰기 위해 trusty .gguf 파일과 llama.cpp 바이너리 외에 다른 건 전혀 필요 없음.
파일 작업은 서버를 시작한 폴더를 기준으로 수행된다는 점을 명심할 것. 아직 보안 샌드박스(허용된 명령어 화이트리스트나 폴더 외부 작업 제한 등)가 없으니, 무엇을 노출할지 매우 신중해야 함!
그래도 llama.cpp가 이런 능력을 기본적으로 갖추게 된 건 정말 놀라움. 현재 시간 확인이나 파일 내용 읽기 같은 일을 하려고 MCP를 연결하거나 무거운 래퍼를 쓸 필요가 완전히 사라짐.
