4가지 AI 코딩 도구(Codex, Pi, Claude Code, OpenCode) 성능 비교 테스트

솔직히 수치만 보면 Muse 1.2랑 Sonnet 5 사이에 엄청난 차이는 없었어(작업 자체가 좀 단순해서 그런 듯). 다만 Sonnet 5는 3번 작업에서 180줄 넘게 쓸데없는 코드를 추가하면서 오버 엔지니어링을 하더라고. 왜 '쓸데없냐'고? 표에 있는 "Task 3"를 보면 돼. PI는 3번 중 2번, Codex는 3번 다 수정 사항이 0이었거든. 왜냐면 내가 모델한테 클래스 하나 고치라고 시켰는데, 정작 git reset으로 돌려놓은 커밋은 이미 개발자가 버그를 다 고쳐놓은 상태였거든. 그러니까 고칠 게 없는 게 정상인데, PI는 2번이나 그걸 알아챘고 Codex는 3번 다 수정 안 하고 넘어갔는데 Sonnet 5 혼자 뻘짓하고 있었던 거지.

3단계: 프록시 라우팅 수정

프록시 별칭 실수한 거 깨닫고 바로 OpenCodex 라우팅 고친 다음에, Muse Spark 1.2가 제대로 들어가는지 확인하면서 Claude Code로 3번, 4번 작업을 다시 돌렸어.

Task 3: Claude Code도 수정 사항 0으로 깔끔하게 끝남(2/2 성공), Codex랑 똑같음.

OpenCode beta - 이건 테스트에서 뺐어. 갑자기 파일 2개를 수정하더니 다른 폴더로 넘어가서 다른 툴들이 작업한 로그를 읽기 시작하더라고. 이건 공정한 테스트가 아니지.

Task 4: 유효한 툴 3개 전부 똑같이 6줄짜리 수정 코드랑 회귀 테스트 코드를 뽑아냄:

테스트에 타임아웃을 걸어둔 건, 간단한 수정인데 5분 넘게 기다릴 필요가 없어서야.

핵심 요약

1. 컨텍스트 처리량 차이 40% 이상: 똑같은 코드 수정 작업인데도 Muse 1.2 기준, Pi가 Codex나 Claude Code보다 컨텍스트를 훨씬 효율적으로 압축해서 입력 토큰을 40% 정도 덜 썼어(267k vs ~445k).

2. 실행 지연 시간: Pi(104초), Codex(110초), Claude Code(112초)가 거의 비슷한 성능을 보여줌.

3. 프록시 확인은 필수: 커스텀 모델이나 프록시 쓸 거면 업스트림 모델 헤더가 제대로 찍히는지 꼭 확인해. 나처럼 아무도 모르게 다른 모델로 돌아가는 경우가 허다함.

4. 내 결론: OpenCode는 내 환경에서 일관되게 2.5배~4배 느리고 컨텍스트도 너무 많이 잡아먹어서, 그냥 데일리 워크플로우에서 빼버리고 Pi랑 Codex만 주력으로 쓰기로 함.

전체 러너, 데이터셋, 에이전트용 리프로덕션 프롬프트는 레포에 다 있고, 더 자세한 결과 파일도 거기 있어:

👉 https://github.com/d1-m4ss/harness-benchmark/tree/main

추신 영어는 내 3번째 언어라 이 글 쓸 때 표 만들고 문법 고치는 데 AI 좀 썼음.

이 벤치마크는 의도적으로 규모가 작고 환경에 특화되어 있습니다. 방법론에 대해 이의를 제기하거나 재현할 수 있도록 러너, 방법론, 원시 계산 규칙, 알려진 한계점 및 수정 사항을 공개했습니다. 결과를 바꿀 만한 구체적인 결함이 보인다면 알려주세요.