공지: 에이전트 워크플로우를 위해 llama.cpp의 -cram 값을 늘리세요 (기본값 8192)

cram 용도를 좀 잘못 알고 있는 거 같은데. 세션은 이미 ctx-size로 kv 캐시가 설정돼 있어서 cram이 0이어도 캐싱됨.

cram은 여러 세션을 왔다 갔다 할 때 쓰는 거임. 긴 세션 하다가 다른 세션으로 넘어가면 캐시가 무효화될 수 있는데, 다시 돌아올 때 cram이 캐시를 RAM에 들고 있다가 재사용하게 해줌. 단일 세션에서 작업하면 0으로 설정해도 차이 없음.

--cache-idle-slots도 확인해 보셈

에이전트 작업에는 --cache-idle-slots와 --cache-ram을 조합해서 쓰면 효과가 엄청남.

내 개인적인 설정:

• 병렬로 여러 슬롯을 돌릴 VRAM이 부족해서 -np 1 사용
• 모델을 자주 바꿔야 함 (Qwen이 프랑스어 처리를 잘 못해서 Qwen 결과물을 Gemma로 번역하거나, 작업에 맞춰 퀀트 모델을 변경함)
• DDR4 램은 넉넉함

그래서 llama.cpp를 이렇게 실행함:

./llama.cpp/build/bin/llama-server \

--cache-ram 60000 -np 1 --cache-idle-slots -kvu \

--models-preset ./my-models.ini \

--host 0.0.0.0 \

--port 10000 \

--models-max 1 \

--metrics

"--models-max 1"을 쓰면 클라이언트가 다른 모델을 요청할 때 현재 모델을 언로드해서 OOM(메모리 부족)을 방지함. OpenWebUI나 hermes 같은 데서 아주 잘 작동함.
"-np 1"은 VRAM이 부족해서 동시 실행은 안 되고 컨텍스트를 최대한 크게 확보해야 해서 설정함.
"--cache-idle-slots"는 서브 에이전트가 시작될 때 메인 에이전트의 컨텍스트를 RAM 캐시에 유지해줌. 서브 에이전트가 끝나고 돌아오면 메인 에이전트가 거의 즉시 복구됨, 거의 꽉 찼을 때도 말이지!

"-kvu"는... 음, 정확히는 모르겠는데 내 환경에선 유용한 듯.

"--metrics"는 llama.cpp의 프로메테우스 호환 엔드포인트를 활성화함.
Qwen3.8-27한테 여기에 연결해서 실시간 대시보드를 보여주는 html/js 페이지를 짜달라고 했음.
스크린샷에 있는 "Tokens served by cache"를 확인해보셈!

참고로 문서도 여기서 많이 찾았음: https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md

API를 써서 수동으로 디스크에 저장하게 할 수는 있는데, 사람들이 꽤 오래전부터 이걸 선택적으로 자동화해달라고 요구해왔음. 개인적으로는 종료할 때마다 캐시된 내용을 저장하고 다음 시작 때 자동으로 복구해주는 기능이 있으면 좋겠음. 모델을 테스트하려고 언로드했다가 다시 로드하는 일이 워낙 많아서 시간을 엄청 아껴줄 것 같음. 막상 할 때는 저장하는 걸 까먹기도 하고, 내 모델 로드 방식 때문에 hermes가 캐시를 잃어버리기 전에 복구가 될지 확신이 안 섬. 내가 말한 기능을 구현한 포크 버전도 있는 걸로 앎.

이 플래그가 정확히 뭘 하는 거임? '에이전트 코딩을 위해 이 마법의 플래그를 늘려라'라고만 하면 좀 헷갈림 솔직히.