Qwen 3.8 27b - PI AGENT vs OPENCODE - 또 다른 샘플
Qwen 3.8 27b - PI AGENT vs OPENCODE - another smaple
핵심 요약
Qwen 3.8 27b 모델을 사용하여 PI Agent와 OpenCode의 성능을 비교한 테스트 결과입니다.
- 성능 비교 — PI Agent가 OpenCode보다 에이전트 환경에서 더 나은 결과와 효율성을 보임
- 설정 팁 — Vision 모듈을 RAM에 오프로드하여 코드 생성 및 디버깅 효율을 높임
- 테스트 방식 — 동일한 기본 설정에서 3D 시뮬레이터 생성 프롬프트를 통해 결과물 비교
- 한계점 — 단일 테스트 결과이므로 모델의 무작위성을 고려한 더 많은 샘플 데이터가 필요함
이게 두 번째 비교이자 마지막이다.
더 이상 도배 안 할게 ;)
이전 글:
https://www.reddit.com/r/LocalLLaMA/comments/1vu0u2v/qwen_38_27b_pi_agent_vs_opencode/
이건 내가 출력 품질 비교하려고 돌려본 수많은 테스트 중 하나야.
근데 Qwen 3.8 27b 모델을 쓰는데 Opencode보다 PI Agent 결과물이 훨씬 더 잘 나온다는 게 진짜 흥미롭지 않냐?!
어떻게 된 건지 PI Agent가 에이전트 환경에서 훨씬 성능이 좋아... 토큰도 덜 먹고, 출력 토큰 32k 제한 같은 것도 없고, 더 빠르고, 멈추지도 않고, Opencode보다 컨텍스트 압축도 훨씬 덜 해. 예를 들어 Opencode 출력 컨텍스트가 32k고 전체 컨텍스트가 100k라면 67k 지점부터 압축이 시작되거든... 근데 PI는 출력 컨텍스트를 64k 이상으로 잡아도 90k 지점부터 압축이 시작돼.
내 RTX 3090 설정은 이거야.
Opencode랑 PI agent에 API를 쏴주는 llama-server ini 설정이지.
llama-server.exe --models-preset 1_preset.ini --models-max 1 --direct-io
config ini
[Qwen3.8-27B_dense_c-100k]
model = models/Qwen3.8-27B-Q4_K_M.gguf
mmproj = models/mmproj-BF16-Qwen3.8-27B-UD-Q4_K_XL.gguf
reasoning-format = deepseek
flash-attn = on
n-gpu-layers = 99
reasoning = on
ctx-size = 100000
temperature=1.0
top-p=0.95
top-k=20
min-p=0.0
presence-penalty=0.0
repeat-penalty=1.0
mmproj-offload = false
한 가지 더 중요한 거:
모델이 출력 품질을 평가할 때 비전을 사용하니까 무조건 VISION 모듈을 같이 써라!
난 비전 모듈은 RAM으로 오프로딩했어. 코드 짜는 데 비전이 미친 듯이 빠를 필요는 없으니까.
