Hermes와 Claude Code를 사용한 로컬 모델 비교

나도 Pi 코드 보고 싶긴 한데, 진정해. 작성자가 Pi의 존재를 모르거나 Roo Code가 죽은 줄 몰랐을 수도 있지. :)

작성자가 StepFun 블로그에서 가져온 내용이라잖아. 최신 트렌드를 다 따라가는 건 아닐 거야. 요즘 중국 연구소들이 *claw 벤치마크를 많이 쓰는 것 같더라.

별로임. 이상한 diff 형식을 써서 내 테스트에서는 Qwen3.6 27B가 파일 수정 한 번 할 때마다 최소 세 번은 시도해야 했음.

코드 편집용 공통 도구를 사용하는 Hermes 에이전트는 (내 생각엔) 로드하기 전에 16k 토큰을 사용함.

Claude Code는 24k를 사용하고.

작은 모델들은 너무 많은 지시사항/도구/제공 기능 때문에 혼란을 겪을 수 있는데, 그 추가 8k 토큰이 차이를 만드는 거임. 작년에 모델들이 qwen-code-cli(~10k 토큰)에서 잘 작동했던 이유도 이거랑 관련 있고, 에이전트 워크플로우를 포기하는 대신 Aider(~4k 토큰)로 꽤 괜찮은 편집물을 만들 수 있는 것도 Hermes/Claude에서 무한 루프에 빠지는 것과 비교하면 이해가 됨.

아마 도구/도구 정의가 다르거나 하네스 수준의 시스템 프롬프트 차이일 가능성이 높음. 아니면 사고 블록(thinking blocks) 처리 방식의 사소한 버그나 비슷한 작은 문제들 때문일 수도 있고.

소프트웨어 버전도 포함해 줘. 그래야 시간이 지나면서 개선되는지 퇴보하는지 알 수 있지.

버전 언급은 없었음. 블로그는 여기서 확인 가능.

주요 로컬 모델들이 포함되지 않은 게 흥미롭네.

Claude 증류 모델 = Claude 하네스와 더 잘 맞음. 부정적인 뜻으로 하는 말은 아님. Qwen 모델들도 Claude 하네스에 잘 맞음.