꽤 괜찮은 Qwen3.8 27B 설정 공유, 도움 되길 바람

아, 그리고 llama-swap 설정도 쓰고 있어. 매번 바꾸는 게 귀찮긴 한데, 모델 업데이트할 때마다 일일이 수동으로 노가다 뛰는 것보단 훨씬 낫거든. 내 llama-swap은 systemd 서비스로 돌림. 왜 도커 안 쓰냐고? 호스트랑 이렇게 밀접하게 돌아가는 건 도커로 관리하면 개피곤함. 평소엔 도커 잘 쓰는데, 폴더 권한 꼬이는 거랑 유지보수 생각하면 그냥 안 쓰는 게 속 편하더라고.

# /etc/systemd/system/llama-swap.service
[Unit]
Description=llama-swap service
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=gabrielesilinic
Group=gabrielesilinic
ExecStart=/home/gabrielesilinic/.local/bin/llama-swap -listen 0.0.0.0:42134 -config /home/gabrielesilinic/.local/share/llama-swap/config.yaml
Restart=on-failure
RestartSec=5

Basic hardening

NoNewPrivileges=true
PrivateTmp=true
ProtectSystem=full

Allow normal access to your home directory.

Tighten this later if desired.

ProtectHome=false

[Install]
WantedBy=multi-user.target

내 systemd 서비스가 좀 이상하고 엉망일 수도 있는데, 어쨌든 돌아가긴 함. 신경 쓰지 마. 그냥 더 이상 리팩토링하기 귀찮았거든. 그래도 꽤 안정적이야.

그리고 이건 내가 지금까지 쓰고 있는 opencode 설정인데, 참고로 playwright도 깔려 있음.

{
"$schema": "https://opencode.ai/config.json",

"model": "llama-swap/qwen3.8",
"subagent_depth": 0,

"permission": {
"websearch": "allow",
"webfetch": "allow",
"playwright_*": "allow"
},

"mcp": {
"playwright": {
"type": "local",
"command": [
"npx",
"-y",
"@playwright/mcp@latest",
"--browser=chrome"
],
"enabled": true,
"timeout": 30000
}
},

"provider": {
"llama-swap": {
"name": "llama-swap",

  "npm": "@ai-sdk/openai-compatible",

  "options": {
    "baseURL": "http://127.0.0.1:42134/v1"
  },

  "models": {
    "qwen3.8": {
      "name": "Qwen 3.8",
      "attachment": true,
      "tool\_call": true,
      "modalities": {
        "input": \[
          "text",
          "image"
        \],
        "output": \[
          "text"
        \]
      },

      "limit": {
        "context": 128000,
        "output": 32768
      },

      "options": {
        "chat\_template\_kwargs": {
          "reasoning\_effort": "medium"
        }
      },

      "variants": {
        "medium": {
          "chat\_template\_kwargs": {
            "reasoning\_effort": "medium"
          }
        },

        "xhigh": {
          "chat\_template\_kwargs": {
            "reasoning\_effort": "xhigh"
          }
        }
      }
    }
  }
}

}
}

아, 그리고 reasoning_effort 옵션이 먹히는지는 모르겠음. 아마 안 될걸? 개인적으로는 별 차이를 못 느꼈거든.

아, 기술적으로 VRAM 용량이 같다면 llama.cpp를 parallel 2로 설정해서 컨텍스트를 반토막 내고 서브 에이전트를 돌릴 수도 있긴 해. 근데 내가 해보니까 이 카드는 그냥 겨우 버티는 수준이더라.
더 좋은 그래픽카드 쓰거나 인내심 많은 사람한테나 추천함. 동시 생성 성능이 확 떨어지거든. MTP 최적화 더 한 뒤로는 테스트 안 해봤는데, 굳이 하고 싶지도 않고, 일관성 없는 모델에 제한 장치도 없이 서브 에이전트 켜는 건 별로 좋은 생각이 아니니까.

마지막으로 편하게 쓰고 싶으면 .bashrc에 export OPENCODE_ENABLE_EXA=1을 추가해 봐. 그럼 서드파티 무료 opencode 통합 제공자를 쓸 수 있는데, 이거 설정하기가 좀 까다롭거든. 데이터 팔아먹는 거 아니냐고? 몰라. 근데 어차피 네 쿼리에서 가져갈 것도 별로 없고, 아마 속도 제한도 걸려 있을 거야(내 에이전트는 아직 그만큼 써본 적이 없어서 모르겠음). 어쨌든 난 지금 깃허브 코파일럿이 너무 비싸서 그거 안 쓰려고 이 짓을 시작한 거임.

백업용으로 챗GPT 구독도 추가해 놨는데, Qwen이 맛탱이 갔을 때 쓰려고 함. 근데 Qwen은 예전 모델처럼 조금만 어려워도 뻗어버리거나 무한 루프 도는 일은 거의 없어서 꽤 괜찮음.

이 머신에서 이 설정으로 돌리면 28~40 t/s 정도 나오는데, 이 모델이 생각을 많이 한다는 걸 감안하면 꽤 쓸만함.

내 생각엔 설정 좀 만지면 나보다 메모리 반밖에 없는 사람들도 최소 64k 윈도우는 괜찮은 속도로 돌릴 수 있을 것 같음. 3090 쓰는 형들은 나 비웃어도 됨. 보다시피 난 의심이 많아서 기술적으로는 컨텍스트 더 넣을 수 있어도 쫄려서 못 넣고 있음. 나중에 고민 좀 해봐야지.

그래도 꽤 안정적이야. 예전에는 컨텍스트 사이즈 유지하는 게 진짜 문제였는데, llama-swap이랑 llama-cpp가 업데이트되면서 해결된 듯. 아, 둘 다 최신 버전으로 받아라. 엄청 발전했음. llama-swap 덕분에 유용한 통계도 얻었고, 그래서 이 설정으로 정착하기로 마음먹은 거임.

추가 팁 하나 주자면, 내 llama-server는 "진짜"가 아님.

#!/usr/bin/env bash
set -euo pipefail

export PATH="/home/gabrielesilinic/.local/bin:/usr/local/bin:/usr/bin:/bin"

export LD_LIBRARY_PATH="/home/gabrielesilinic/.local/opt/llama.cpp${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}"

export ROCR_VISIBLE_DEVICES=0
export HIP_VISIBLE_DEVICES=0

exec /home/gabrielesilinic/.local/opt/llama.cpp/llama-server "$@"

좀 멍청한 방식이긴 한데 잘 돌아감.

이거 다 기억나는 대로 적은 거라 수치가 좀 안 맞을 수도 있는데, 별 상관없을 거야. 나랑 같은 GPU 쓰면 잘 돌아갈 거고, 아니면 더 잘 돌아가거나 어차피 네가 알아서 설정 만져야 할 테니까.

그럼 다들 즐겁게 써라!

당연히 그건 말할 것도 없지. 근데 내가 말한 건 테스트를 직접 돌리는 건 내가 아니라는 뜻이었어.

Unsloth가 UD-IQ2_S 이하 퀀트에서는 MTP 레이어를 제거했기 때문에, 별도의 파일은 주로 그런 애들을 위한 거야. 하지만 UD-IQ4_XS에서는 (64번 레이어가) 그대로 남아 있고, 별도의 파일만큼 심하게 퀀트되지는 않았어. 전체적으로는 딱히 영향은 없지만, VRAM으로 오프로드되지는 않을 거야.