r/LocalLLaMA•10일 전•52•12

2개의 3090으로 Qwen 27B와 OMP를 코딩 에이전트로 튜닝하기

Tuning Qwen 3.8 27B and OMP as a coding agent on 2× 3090s

핵심 요약

2개의 3090 GPU 환경에서 Qwen 27B와 OMP 설정을 최적화하여 코딩 에이전트의 응답 속도를 28초에서 7초로 단축함.

성능 최적화 — 2개의 3090 GPU 환경에서 코딩 에이전트 응답 속도를 4배 개선함.
OMP 설정 변경 — 역할별 노력 수준 지정 및 토큰 버짓 조정을 통해 효율성을 높임.
컨텍스트 관리 — 최대 토큰을 32k로 늘리고 대용량 도구 출력은 파일로 처리함.
에이전트 구성 — 하위 에이전트 수를 4개로 제한하고 appendOnlyContext를 활성화함.

doug.sh

원문 사이트로 이동

3090 두 장에 Oh My Pi + vLLM 돌리는 중. 턴당 평균 대기 시간 28초에서 7초로 줄었다. 대부분 omp 설정 바꾼 덕분임:

모든 역할에 명시적인 노력 수준(effort level) 설정 (설정 안 된 건 기본값 xhigh로 들어감)
thinking_token_budget 7500으로 설정
maxTokens 8k → 32k로 상향 (파일 쓰기 자꾸 잘려서)
10 KB 넘는 도구 출력값은 파일로 저장
최대 서브 에이전트 4개, appendOnlyContext 켜기

자세한 건 게시물 참고하고, 궁금한 거 있으면 뭐든 물어봐.

원문

커뮤니티 목록

r/LocalLLaMA•10일 전•52•12

2개의 3090으로 Qwen 27B와 OMP를 코딩 에이전트로 튜닝하기

Tuning Qwen 3.8 27B and OMP as a coding agent on 2× 3090s

핵심 요약

2개의 3090 GPU 환경에서 Qwen 27B와 OMP 설정을 최적화하여 코딩 에이전트의 응답 속도를 28초에서 7초로 단축함.

성능 최적화 — 2개의 3090 GPU 환경에서 코딩 에이전트 응답 속도를 4배 개선함.
OMP 설정 변경 — 역할별 노력 수준 지정 및 토큰 버짓 조정을 통해 효율성을 높임.
컨텍스트 관리 — 최대 토큰을 32k로 늘리고 대용량 도구 출력은 파일로 처리함.
에이전트 구성 — 하위 에이전트 수를 4개로 제한하고 appendOnlyContext를 활성화함.

doug.sh

원문 사이트로 이동

3090 두 장에 Oh My Pi + vLLM 돌리는 중. 턴당 평균 대기 시간 28초에서 7초로 줄었다. 대부분 omp 설정 바꾼 덕분임:

모든 역할에 명시적인 노력 수준(effort level) 설정 (설정 안 된 건 기본값 xhigh로 들어감)
thinking_token_budget 7500으로 설정
maxTokens 8k → 32k로 상향 (파일 쓰기 자꾸 잘려서)
10 KB 넘는 도구 출력값은 파일로 저장
최대 서브 에이전트 4개, appendOnlyContext 켜기

자세한 건 게시물 참고하고, 궁금한 거 있으면 뭐든 물어봐.

주요 댓글

r/localllama

OMP 설정 최적화를 통해 에이전트의 응답 속도를 획기적으로 개선한 사례에 대해 기술적인 분석과 긍정적인 반응이 이어짐.

thinking budget 설정하면 퀄리티 떨어질 텐데.

생각하는 과정이 너무 길어지면 걸리는 시간에 비해 별로임. 8k 토큰 정도로 제한 거는 게 딱 좋더라.

Oh My Pi + vLLM을 3090 2개로 돌리는 중. 턴당 평균 대기 시간이 28초에서 7초로 줄었는데, 대부분 OMP 설정 변경 덕분임:

모든 역할에 명시적인 노력 수준 설정 (설정 안 된 건 기본값이 xhigh였음)
thinking_token_budget 7500으로 설정
maxTokens 8k → 32k (파일 쓰기가 자꾸 잘려서)
10 KB 넘는 도구 출력은 파일로 저장
최대 서브 에이전트 4개, appendOnlyContext 켬

자세한 내용은 본문에 있고, 질문 있으면 언제든 환영.

난 club3090(dual-fast)에 autoround(Q4) 쓰고 있고, 3090 2장에 nvlink 연결해서 쓰는 중임.

thinking budget 제한 풀었음 (단점은 생각을 오지게 많이 함).
토큰 윈도우는 256k인데 75% 정도 되면 수축(contractions)이 일어나긴 함.
서브 에이전트 2개 넘게 쓰면 성능 떡락하고 눈에 띄게 구려짐 (omp 리포트 기준으로 최소 1tk/s 디코딩 수준).

그래서 네 세팅이 궁금한데, 어떻게 서브 에이전트 4개를 그렇게 부드럽게 돌리는 거임?

기본 Qwen 3.8 27B는 생각만 엄청 많이 하고 멍청하게 생각함. ukisai Sqift qwen3.8 27b 한번 써봐. 생각하는 양은 절반인데 훨씬 더 예리함.

서브 에이전트를 3개 추가했을 때 디코딩 속도가 1 tok/s 정도로 떨어진다면, vLLM 로그에서 'preempted ... not enough KV cache space' 메시지가 있는지 확인하거나 vllm:num_preemptions_total 지표를 살펴보세요. 256k 컨텍스트에서는 긴 병렬 세션 몇 개만 돌려도 KV 캐시가 꽉 차서 vLLM이 계속 데이터를 삭제하고 재계산하게 됩니다. max_model_len을 낮추거나 fp8 KV 캐시를 사용하면 보통 해결됩니다.

설정 안 된 역할들이 암묵적으로 xhigh로 돌아가고 있었다는 게 28초에서 7초로 줄어든 주원인이네. 역할별로 노력 수준을 고정하는 게 사소한 설정 변경처럼 보여도 대기 시간이 4배나 줄어드는 걸 보면 대단함.

원문r/LocalLLaMA