Claude Code가 GPT-5.6, DeepSeek, GLM, 로컬 Qwen에 작업을 위임하도록 MCP 서버를 구축하고 벤치마크해 보았습니다 (198회 실행, 비공개 테스트)

질문: 오케스트레이터로서 Claude가 저가형/무료 모델한테 안심하고 맡길 수 있는 작업은 뭘까? 그리고 그 대가는 뭘까?

방법

• 실제 위임 상황을 시뮬레이션한 6개 스테이션: 스펙 기반 빌드(BR 통화 파서, 18개 비공개 엣지 케이스 테스트), 버그 찾고 고치기(9개 테스트), 코드 리뷰(심어놓은 버그 3개 + 오탐지 유도), 엄격한 JSON 추출(프로그래밍 방식으로 파싱), 복합 결과물 생성(계획 + 슬라이딩 윈도우 속도 제한기 + 테스트), 그리고 정보가 부족할 때의 정직성 테스트("services/estoque.js" 수정하기 — 존재하지 않는 파일).
• 위임 전에 미리 작성해둔 비공개 채점기. 모델들은 이걸 절대 본 적 없음.
• 셀당 3번의 독립적인 실행, 동일한 프롬프트 사용(포르투갈어 사용 — 내가 일하는 방식임). 셀은 '베스트'가 아니라 '성공률'을 기준으로 함.

1라운드만 돌렸으면 몰랐을 3라운드의 진실

1. DS4 Flash의 완벽한 파서는 그냥 운이었다. 1라운드: 18/18. 2, 3라운드: 17/18, "1234,56"(천 단위 구분 기호 없음)에서 실패함 — 1라운드에서 Sonnet 5가 놓친 바로 그 엣지 케이스다. 한 번 돌렸을 땐 "Flash가 파싱은 Sonnet보다 낫네" 싶었는데, 세 번 돌려보니 "이 엣지 케이스는 대부분 모델이 가끔씩 다 틀리는구나" 싶더라.

2. Sonnet 5와 Haiku 4.5는 운이 나쁜 게 아니라 구조적인 약점이 있다. n빵 계약서에서 남은 잔돈을 처리할 때 두 사람 간의 차이가 1센트 넘게 나지 않도록 분배해야 하는데, Sonnet은 1라운드랑 3라운드에서 잔돈을 전부 1번 사람한테 몰아줬다(성공률 1/3). Haiku도 2라운드랑 3라운드에서 똑같이 굴었다(1/3). 반면 저렴한 델리게이트 모델들은 전부 3/3으로 깔끔하게 처리함. Fable 5랑 Opus 4.8도 3/3이었고. 즉, 대장급이랑 가성비 모델들은 다 해내는데, 중간급 베이스라인 모델들만 못하는 거다.

3. Codex 패밀리가 다 씹어먹었다. 전부 다. Sol, Terra, Luna: 모든 기술적 과제, 모든 라운드에서 만점 — 54/54. 그리고 정직성 테스트(없는 파일 수정하기)에서도 셋 다 "이 프로젝트나 깃 히스토리에 services/estoque.js 같은 건 없는데?"라며 직접 확인까지 했다 — 9번 중 9번 다. Luna는 M당 $1/$6밖에 안 한다. 이번 실험에서 건진 가장 유용한 발견이다.

4. 엄격한 JSON 추출은 이미 정복된 문제다. 11개 모델 × 3라운드 = 33/33 만점. 바이트 단위로 정확하고, 마크다운 펜스도 없고, 섞여 있는 형식에서 ISO 날짜도 잘 뽑고, "mil e duzentos reais"처럼 글로 쓴 금액에서 센트 단위도 정확히 찾아낸다. 그냥 아무 모델한테나 맡겨도 된다(물론 결과값 검증은 필수).

5. 로컬 모델은 공짜인 대신 창의적으로 맛이 간다. Qwen3.6 35B는 대부분의 라운드에서 최상위 모델급 성능을 보여줬는데, 한 번은 코드 들어갈 자리에 테스트 코드만 덜렁 던져주질 않나(모듈 자체가 없음), 또 한 번은 정규식에 무조건 "R"로 시작해야 한다는 조건을 걸어버리는 파서를 짜기도 했다. 리뷰 단계에선 3라운드 내내 있지도 않은 버그를 있다고 우기더라. 공짜 노동이니, 작업 지시는 작게 쪼개고 무조건 검증해라.

6. 문맥이 없을 때 환각을 보는 건 모델의 성격이고, 이건 꽤 일관적이다. 없는 파일을 고치라고 3번 시켰더니, DS4 Flash는 3번 중 2번이나 몽고DB 코드를 완전히 새로 창조해냈다(이모지 헤더까지 달아서). Haiku는 3번 다 정직하게 거절했고. Fable은 2번 거절했는데, 이때 벤치마크 통틀어 최고의 명대사가 나왔다. 보이지도 않는 함수를 고치는 건 "본넷도 안 열고 엔진 고치겠다는 정비공이랑 다를 게 없다"고 하더라. Codex 모델들은 그냥... 확인을 했다. 툴 접근 권한 + 정직함이 깡지능보다 낫다.

비용 (USD, 6개 작업 전체 실행 기준 API 비용)

플레이북 (v2, 일관성 검증 완료)

1. 빡빡한 스펙 + 직접 만든 히든 테스트 = 품질은 상수가 된다. 그다음엔 가격 보고 골라 써라. 구독 3개(ChatGPT → Codex 패밀리, z.ai → GLM, Claude)에 로컬 박스까지 돌리면, 대부분의 작업에 들어가는 한계 비용은 0이다.
2. 모든 문맥을 다 붙이지 않고는 절대 맡기지 마라. 없는 파일을 보고 환각을 일으키는 모델은 계속 그렇게 한다. 확인하는 모델은 계속 확인한다. 지금 내가 뭘 쓰고 있는지 똑바로 알아야 한다.
3. 로컬 모델은 한 번에 하나씩만 시키고, 무조건 검증해라. 얘네가 틀리는 건 멍청해서가 아니라 이상해서다(모듈 누락, 환각의 "R" 접두사 등). 자동 검증은 선택이 아니라 필수다.
4. 모든 건 3번씩 돌려라. 1번 돌려보고 판단하지 마라. 1라운드 끝나고 쓴 내 기록 절반("Flash가 파싱은 Sonnet보다 낫네!")은 2~3라운드에서 다 박살 났다. 나머지 절반은 더 확실해졌고(잔돈 분배 격차는 진짜다). n=1 벤치마크는 그냥 기분 탓인 표일 뿐이다.

주의사항

• n=3이 n=1보다 낫긴 하지만, 여전히 표본이 작다. 온도(temperature) 조절은 안 했고 각 제공업체의 기본값을 따랐다.
• Anthropic 모델들은 기본 설정의 일반 서브 에이전트로 돌렸는데, 아마 실제 성능보다 낮게 평가됐을 가능성이 있다(모든 베이스라인에 동일한 하네스 오버헤드가 적용됨).
• Codex CLI는 추론 토큰을 숨기기 때문에 Sol/Terra/Luna 비용은 최소치이지 총액이 아니다.
• 작업은 포르투갈어로 진행했으니 영어 결과는 다를 수 있다.
• 채점은 Claude가 했고, 전체 과정을 조율한 것도 Claude다. 즉, 자기네 모델 패밀리를 직접 채점한 셈이다. 자동화된 항목은 객관적이지만, 6번 항목의 분류는 주관이 개입됐다. 결론은 알아서 내리길.

수정: DeepSeek를 OpenRouter를 통해 사용했다는 언급은 공식 제공업체로 라우팅되었기 때문에 삭제함.

수정 2: 흥미로운 결과가 담긴 후속 댓글 추가함.

그건 인정합니다. 저는 CLI를 쓰거든요.