AI 모델 수동 비교에 지친 사람 또 있나요?
Anyone else tired of comparing AI models manually?
핵심 요약
매번 프롬프트를 조금씩 수정하며 여러 모델을 수동으로 비교하는 '프롬프트 드리프트' 현상에 지쳐가는 작성자의 고민.
- 프롬프트 드리프트 — 프롬프트를 조금씩 수정하다 보니 모델별 결과값을 제대로 비교하기 어려워짐.
- 벤치마크의 한계 — 벤치마크 점수가 높아도 실제 작업 환경에서는 성능이 만족스럽지 않은 경우가 많음.
- 모델 선택 기준 — 측정 가능한 지표보다는 사용자의 직관이나 '바이브'에 의존해 모델을 고르게 됨.
- 통합 테스트 도구 — 여러 모델을 한곳에서 비교할 수 있는 도구를 사용하여 API와 탭 전환의 번거로움을 줄임.
요즘 들어 AI 모델을 실제로 사용하는 시간보다 테스트하는 데 더 많은 시간을 쓴다는 걸 깨달았습니다. GPT-4o, Claude, DeepSeek 등 여러 모델에 같은 프롬프트를 입력하며 결과값을 비교해보려 하지만, 항상 저도 모르게 무언가를 바꾸게 되더군요. 문장을 살짝 다듬거나, 작업을 다르게 설명하거나, 한 줄을 추가하는 식이죠. 그러다 보면 나중에는 애초에 같은 프롬프트라고 할 수 없는 결과들을 비교하고 있게 됩니다. 요즘은 이걸 '프롬프트 드리프트(prompt drift)'라고 부른다는데, 정말 딱 맞는 표현인 것 같습니다.
벤치마크도 최근에는 별로 도움이 안 되더군요. 어떤 모델은 순위가 매우 높지만 제 실제 작업 환경에서는 영 별로인 경우가 많습니다. 데이터 추출에 뛰어난 모델도 있고, 코딩에 더 나은 모델도 있으며, 그럴듯하게 말하지만 완전히 거짓말을 지어내는 모델도 있죠. 시간이 좀 지나고 나니 제가 측정 가능한 지표보다는 그저 '바이브'에 의존해 모델을 고르고 있었다는 걸 깨달았습니다. 계속 탭을 전환하며 작업하는 것도 상황을 더 악화시키고요.
최근에는 API와 브라우저 탭을 하루 종일 오가는 게 지겨워져서 Evose 같은 도구를 사용해 한곳에서 모델들을 나란히 테스트하기 시작했습니다. 놀라운 점은 제가 평소에 습관적으로 GPT를 쓰던 대량 작업들 중 상당수가 DeepSeek만으로도 충분히 훌륭했다는 겁니다. 물론 미묘한 글쓰기나 코딩 작업에서는 여전히 Claude가 더 강력하게 느껴지긴 합니다. 다른 분들도 여전히 이렇게 수동으로 모델을 비교하고 계신지, 아니면 이미 하나로 정착하셨는지 궁금하네요.
