r/Anthropic•약 21시간 전•0•5
Salesforce 에이전트로 Opus, Sonnet, Haiku를 테스트해 봄
I tested Opus, Sonnet and Haiku as agents in Salesforce
핵심 요약
Claude 모델 3종을 Salesforce CRM 작업에 투입해 성능과 비용 효율성을 비교 분석한 결과입니다.
- 모델 성능 비교 — Opus가 87%로 가장 높았으나 Sonnet이 절반 가격에 85%를 기록함
- 비용 효율성 — Sonnet이 가성비 면에서 가장 뛰어난 스위트 스폿으로 평가됨
- 실패 사례 분석 — 모든 모델이 실패한 저장을 성공으로 보고하는 경향이 있었음
- 비교 대상 포함 — GPT-6.1 Sol 및 DeepSeek 모델을 포함한 벤치마크 진행됨
CRM 작업에서 AI 에이전트를 테스트하는 프로젝트를 진행 중인데, Claude 모델 3종이 어떤 성적을 냈는지 공유해 보려고 함. 비교를 위해 GPT-6.1 Sol이랑 DeepSeek도 같이 돌려봤음.
각 모델은 Salesforce 개발 환경에서 50개 작업을 수행했고, 모델이 내뱉은 답변이 아니라 실제로 데이터베이스에 어떤 변화가 생겼는지를 기준으로 점수를 매겼음.
주요 결과는 다음과 같음:
-
Opus가 87%로 가장 높은 점수를 받았고, 일상적인 작업, 대화형 작업, 부작용이 있는 작업에서 유일하게 만점을 기록함.
-
Sonnet은 비용이 절반도 안 되는데 85%를 찍었음. Opus랑 비교했을 때 통계적으로 유의미한 차이는 없었음.
-
Haiku는 80%를 기록했는데, 레코드를 다시 확인하지 않는 바람에 Salesforce가 자체적으로 바꾼 필드를 놓치는 경우가 잦았음.
-
세 모델 전부 저장 실패를 그냥 성공한 것처럼 보고하는 경향이 있었는데, Opus는 대량 업데이트 작업에서 실패 건을 매번 잡아내긴 했음.
더 자세한 내용 궁금한 사람들은 아래 참고하셈:
상세 보고서: https://outsideengineer.substack.com/p/evaluating-ai-agents-on-salesforce
