ChatGPT의 컴퓨터 사용 기능이 Claude를 압도하고 있다
Chatgpt Computer Use Is Lapping Claude
핵심 요약
ChatGPT의 컴퓨터 사용 기능이 Claude보다 실무 수행 능력이 뛰어나다는 사용자 경험 공유.
- 컴퓨터 사용 성능 — ChatGPT가 실제 작업 수행 및 문제 해결에서 Claude보다 높은 성공률을 보임
- Claude의 한계 — Claude는 작업 중 멈추거나 오류를 자주 일으키며 접근 권한 문제로 작업을 거부하는 경우가 많음
- 하이브리드 활용 — Claude의 논리적 지시와 ChatGPT의 실무 구현 능력을 조합하는 방식이 효과적임
- 벤치마크 논란 — 실제 사용자 경험과 벤치마크 결과 사이의 괴리에 대한 의문 제기
참고로 여기 클로드 빠돌이들 많은 거 아는데, 비추 폭탄 맞을 거 각오하고 글 쓴다 ㅋㅋ
나 지금 챗GPT랑 앤스로픽(클로드) 둘 다 컴퓨터 사용(computer use) 기능으로 A/B 테스트 돌려보고 있는데, 솔직히 비교 자체가 안 됨. 매일 하는 작업 한 20개 정도는 해본 듯. 윈도우 디스플레이 인식 오류 고치는 거부터, 애들 토렌트 못 쓰게 특정 콘텐츠 차단하는 거, 브라우저 써서 집 가구 검색하는 것까지 다 해봤거든. 근데 클로드는 한 50~70% 확률로 그냥 맛탱이 가서 아무것도 안 하려고 하거나, 중간에 멈추거나, 화면에서 길 잃고 헤매기 일쑤임. 반면에 챗GPT는 진짜 미쳤음. 성공률 70%는 그냥 찍고, 안 될 때도 내가 살짝 개입해서 궤도만 잡아주면 바로 다시 잘 돌아감.
클로드 진짜 정신 차려야 함. 원래는 클로드 90, 챗GPT 10 정도로 썼는데, 지금은 챗GPT 60, 클로드 40 정도로 비율이 바뀌었음. 예전엔 챗GPT는 그냥 확인용이었는데 말이지.
수정:
방금도 문제 하나 생겨서 테스트해 봄. 내 로지텍 MX 마스터 마우스에 버튼 하나로 4방향 제스처 명령 내리는 기능이 있는데, 이게 '위스퍼플로우(whisperflow)'에서 말할 때 버튼 꾹 누르는 게 안 먹히는 문제가 있었음. 챗GPT한테 물어보니까 "이건 못 고치니까 그냥 누르고 떼는 방식으로 우회해서 써라, 꾹 누르는 건 절대 안 된다"라고 하더라. 근데 클로드는 "이거 고칠 수 있음, 6단계 방법 알려줌" 이러는 거임. 그래서 내가 "그냥 니가 직접 컴퓨터 사용 기능 써서 고쳐봐"라고 했지. 그랬더니 클로드가 "난 권한 없어서 그런 설정 못 바꿈" 이러는 거임. 그래서 "아니 할 수 있어"라고 했더니 오토핫키(autohotkey) 스크립트 하나 짜고는 멈춰버림. 계속하라고 하니까 또 못 한다고 징징대고.
그래서 클로드가 알려준 방법 그대로 복사해서 챗GPT한테 던져줬더니, 챗GPT가 "오 좋은 생각임" 하더니 바로 오토핫키 설치하고, 컴퓨터 사용 기능으로 로지텍 옵션 플러스 소프트웨어 열어서 수정하고, 오토핫키 업데이트하고, 새로고침까지 다 끝냄. 마지막엔 나한테 확인받고 시작 프로그램에까지 등록해 주더라.
결론은 챗GPT가 컴퓨터 사용 기능은 진짜 미친 수준으로 잘함. 클로드는 컴퓨터나 크롬 제어할 때 버그 투성이에 개판인데, 대신 텍스트 사고 과정은 챗GPT보다 나아서 클로드한테 시킬 일 알려달라고 한 다음에 챗GPT한테 시키는 게 국룰임 ㅋㅋ 지금 내 루틴이 딱 이거임. 클로드로 설계 짜고, 챗GPT로 실행한다.
