r/PiCodingAgent•약 3시간 전•13•11
로컬 Qwen 3.8 27B 모델에서 Pi, Codex, OpenClaw, Hermes 성능 비교: 10개 에이전트 테스트
How does Pi stack up against Codex, OpenClaw and Hermes on a local Qwen 3.8 27B? I lined up 10 agents
핵심 요약
로컬 Qwen 27B 모델 환경에서 10개 코딩 에이전트의 성능과 토큰 효율성을 테스트한 결과, Pi가 가장 뛰어난 효율을 보였습니다.
- 성능 테스트 — 10개 에이전트를 동일한 로컬 환경에서 5가지 코딩 과제로 비교함
- Pi의 효율성 — 모든 과제에서 가장 적은 토큰을 사용하며 5/5 성공률을 기록함
- 네트워크 차단 — 일부 에이전트가 오프라인 설정에도 불구하고 외부 연결을 시도함
- Atomic Agent — 유일하게 네이티브 엔드포인트와 문법 제어를 사용하여 독특한 작동 방식을 보임
에이전트 테스트 2부 시작한다. 저번엔 4B 모델이었는데, 다들 하드웨어랑 토큰 수, 그리고 더 많은 에이전트 넣어달라고 난리여서 바로 준비했다.
MacBook Pro M5 Max, 64 GB. llama.cpp에서 Qwen 3.8 27B Q4 돌렸고, thinking은 껐다.
세팅은 이렇다: 전부 똑같은 모델이랑 서버 썼고, 코딩 과제 5개 줬다. 각 과제마다 함정 하나씩 파놨고, 에이전트들은 전부 샌드박스에 가둬서 자기 폴더만 건드릴 수 있게 했다. 모델이랑만 대화 가능하고, 자동 승인 켜고, 텔레메트리 끄고, 시간 제한은 5분 줬다.
결과:
| # | Agent | Passed | Median time | Median tokens | Cache reuse | Tried to go online |
|---|---|---|---|---|---|---|
| 1 | Pi | 5/5 | 38 s | 9.2k | 72% | no |
| 2 | DeepSeek Harness | 5/5 | 60 s | 35.3k | 83% | no |
| 3 | Codex CLI | 5/5 | 94 s | 36.3k | 79% | every run |
| 4 | OpenClaw | 5/5 | 106 s | 39.0k | 72% | unclear |
| 5 | Cline | 5/5 | 152 s | 29.6k | 79% | every run |
| 6 | OpenCode | 4/5 | 50 s | 32.4k | 75% | every run |
| 7 |
