OpenClaw vs Hermes vs Vellum 일상 업무용 비교: 벤치마크가 아닌 실제 사용기

지난 몇 주간 세 가지 도구 모두를 사용하여 동일한 범주의 작업을 수행해 보았습니다. 이메일 관리, 일정 예약, 요약, 그리고 가벼운 조사 작업들이었습니다. 제가 발견한 점은 다음과 같습니다.

OpenClaw: 성능 잠재력은 압도적으로 가장 높습니다. 하지만 일상적인 업무 작업에 있어서의 문제는 신뢰할 수 있는 동작을 얻기 위해 필요한 설정 투자 비용입니다. 기본 상태에서는 루프에 빠지거나, 문맥을 잊어버리거나, 이상한 결정을 내립니다. 일관된 결과를 얻으려면 매우 복잡하게 커스터마이징된 지침 세트가 필요합니다. 일단 튜닝이 완료되면 인상적이지만, 그 과정에 상당한 시간이 소요됩니다. 또한 실제 자격 증명이 연결된 작업에 사용하기에는 아직 불안합니다.

Hermes: 스스로 기술을 개선한다는 아이디어는 셋 중 가장 흥미롭습니다. 하지만 자가 평가 기능이 치명적인 결함입니다. 자신의 결과물을 스스로 평가하는데, 거의 항상 높은 점수를 주고 다음 개선 주기에서 수동으로 수정한 내용을 덮어써 버립니다. 요약 작업에서 데이터를 뒤섞어 놓고도 스스로에게 완벽한 점수를 주더군요. 정확도가 중요한 작업에서는 절대 사용할 수 없습니다. 서버 인프라 요구 사항 또한 큰 진입 장벽입니다.

Vellum: 제가 테스트한 실제 작업들에서 가장 신뢰할 수 있었습니다. 이메일 분류와 일정 예약이 별도의 튜닝 없이도 잘 작동했습니다. 권한 모델이 명확하고 도구별로 범위가 지정되어 있어, 계정 관련 민감한 작업을 수행할 때 제가 원하던 방식이었습니다. 설정은 5분 만에 끝났습니다. github.com/vellum-ai/vellum-assistant

가장 높은 성능 잠재력을 원하고 튜닝에 투자할 의향이 있다면 OpenClaw를 선택하세요. 설정 비용 없이 일상적인 계정 관련 작업에서 안정적으로 작동하는 도구를 원한다면 Vellum을 추천합니다. Hermes는 가장 흥미로운 실험이지만 현재로서는 가장 쓸모없는 도구입니다.