16GB VRAM에서 100k 컨텍스트 길이로 Qwen3.6-27B 구동하기

A5000 16GB GPU가 탑재된 노트북에서 Qwen3.6-27B를 구동하는 실험을 해봤습니다. Unsloth imatrix를 사용하여 직접 IQ4_XS GGUF인 "qwen3.6-27b-IQ4_XS-pure.gguf"를 만들었고, 다른 양자화 버전들과 평균 KLD를 비교했습니다.

다양한 turboquant 버전을 테스트한 결과도 확인할 수 있습니다. buun-llama-cpp 포크가 TheTom/llama-cpp-turboquant 포크보다 나은 것으로 보입니다.

제 버전을 사용해보고 싶다면 다음 단계를 따르세요:

1. Huggingface에서 제 GGUF를 다운로드하세요. 이곳을 기반으로 개선된 채팅 템플릿이 이미 포함되어 있습니다.
2. https://github.com/spiritbuun/buun-llama-cpp에서 buun-llama-cpp를 클론하세요.
3. 빌드하세요. 저는 Windows에서 다음 명령어를 사용했습니다:
   cmake -B build -G Ninja -DGGML_CUDA=ON -DCMAKE_C_COMPILER=clang-cl -DCMAKE_CXX_COMPILER=clang-cl cmake --build build --config Release -j 16
4. nvidia-smi 등으로 GPU VRAM이 모두 비어 있는지 확인하세요.
5. 다음과 같이 실행하세요. 저는 이 명령어를 사용했습니다:
   build/bin/llama-server --model qwen3.6-27b-IQ4_XS-pure.gguf --alias qwen3.6-27b -np 1 -ctk turbo3_tcq -ctv turbo3_tcq -c 100000 --fit off -ngl 999 --no-mmap -fa on --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.0
6. OpenCode에서 사용하려면 다음의 ~/.config/opencode/opencode.json 파일을 사용합니다:

  "$schema": "https://opencode.ai/config.json",
  "plugin": [
    "opencode-anthropic-auth@latest",
    "opencode-copilot-auth@latest"
  ],
  "share": "disabled",
  "provider": {
    "llama.cpp": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "llama.cpp (OpenAI Compatible)",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1",
        "apiKey": "1234"
      },
      "models": {
        "qwen3.5-27b": {
          "name": "Qwen 3.5 27B",
          "interleaved": {
            "field": "reasoning_content"
          },
          "limit": {
            "context": 100000,
            "output": 32000
          },
          "temperature": true,
          "reasoning": true,
          "attachment": false,
          "tool_call": true,
          "modalities": {
            "input": [
              "text"
            ],
            "output": [
              "text"
            ]
          },
          "cost": {
            "input": 0,
            "output": 0,
            "cache_read": 0,
            "cache_write": 0
          }
        }
      }
    }
  },
  "agent": {
    "code-reviewer": {
      "description": "Reviews code for best practices and potential issues",
      "model": "llama.cpp/qwen3.5-27b",
      "prompt": "You are a code reviewer. Focus on security, understandability, conciseness, maintainability and performance."
    },
    "plan": {
      "model": "llama.cpp/qwen3.5-27b"
    }
  },
  "model": "llama.cpp/qwen3.5-27b",
  "small_model": "llama.cpp/qwen3.5-27b"
}```