Qwen 3.8 27B 모델로 100만 토큰 이상 처리 후, 16GB VRAM 환경(73k 컨텍스트, 에이전트 코딩)을 위한 최적의 llama.cpp 설정 공유

llama.cpp 설정 파일

내가 쓰는 --models-preset 라우터 설정 파일이야. 27B 프로필에서 fit = off를 쓰면서도 ctx-size = 73728 (73k)이랑 q4_1 KV 캐시 양자화를 써서, 네이티브 MTP 성능은 챙기면서 VRAM 할당을 최대로 뽑아낸 거 보이지?

# ==============================================================================
# LLAMA.CPP — INFERENCE CONFIGURATION (router mode / --models-preset)
# ==============================================================================
# Hardware Target:
# GPU: 16 GB VRAM (RTX 5060 Ti)
# CPU: Intel N100, 4C/4T (Debian Headless)
# ------------------------------------------------------------------------------
# GLOBAL / BASELINE
# ------------------------------------------------------------------------------

[*]
# --- CPU THREADING -----------------------------------------------------------
# Reserve 1 core for OS/services during decode.
# Use all 4 threads during prompt prefill bursts.
threads = 3 threads-batch = 4

# --- SERVER / CONCURRENCY ---------------------------------------------------
# Single slot, disabled continuous batching for maximum single-user throughput.
parallel = 1 cont-batching = 0

--- GPU / VRAM FIT ---------------------------------------------------------

flash-attn = on fit = on

VRAM 물리적 한계에 대한 안전 여유 공간 (MiB).

시스템이 헤드리스(VRAM 100%를 추론에 사용 가능)라 낮게(128) 설정함.

참고: MTP draft KV 캐시를 쓸 경우, VRAM 이중 할당 조심하셈.

OOM(메모리 부족) 뜨면 128-256 정도로 올리셈.

fit-target = 128

--- CONTEXT & CACHING ------------------------------------------------------

ctx-size = 65536 context-shift = 1

컨텍스트 체크포인트 비활성화 (하이브리드 아키텍처에서 재처리 문제 방지)

ctx-checkpoints = 0

RAM 프롬프트 캐시 (2 GiB)

cache-ram = 2048

--- GLOBAL KV CACHE --------------------------------------------------------

cache-type-k = q5_1 cache-type-v = q5_1

--- PREFILL / BATCHING -----------------------------------------------------

batch-size = 2048 ubatch-size = 1024

--- DEFAULT SAMPLING (코딩 / 정밀도) ----------------------------------

temp = 0.2 top-p = 0.95 top-k = 20 min-p = 0.0 repeat-penalty = 1.0 presence-penalty = 0.1 frequency-penalty = 0.0

------------------------------------------------------------------------------

QWEN 3.8 27B — 추론 & 고강도 코딩 프로필

------------------------------------------------------------------------------

[qwen3.8-27b] model = /opt/llama-infrastructure/models/Qwen3.8-27B-UD-Q3_K_XL.gguf

자동 계산 오류로 레이어가 CPU로 로드되는 걸 막으려고 "fit" 끔

fit = off ctx-size = 73728 context-shift = 1

네이티브 모델 MTP (추측 디코딩)

spec-type = ngram-mod,draft-mtp spec-draft-n-max = 2

KV 양자화 (q4_1 쓰면 16GB VRAM에 73k 컨텍스트 우겨넣기 가능)

cache-type-k = q4_1 cache-type-v = q4_1

사고 / 추론 예산 파라미터

chat-template-kwargs = {"preserve_thinking": true, "reasoning_effort":"medium"} reasoning-budget = 5000

대규모 프리필(prefill) 때 VRAM 튀는 거 막으려고 배치 사이즈 줄임

batch-size = 1024 ubatch-size = 512

공식 / 권장 양자화 샘플러 튜닝

temp = 0.4 top-p = 0.90 top-k = 15 min-p = 0.02