r/promptengineering•4개월 전•76•11

Gemini 3.5 Flash 벤치마크 결과: 기존 모델보다 성능이 떨어지네요.

I benchmarked the new release Gemini 3.5 Flash on ~10 saved evals. Using the exact same prompts.

핵심 요약

Gemini 3.5 Flash를 기존 평가 데이터로 테스트한 결과, 이전 모델보다 성능이 낮고 비용 효율성도 떨어지는 것으로 나타남.

벤치마크 결과 — 기존 Gemini 3.1 모델보다 감정 분석 성능이 저조함.
비용 효율성 — Flash Lite 대비 10배 비싸지만 성능은 오히려 낮음.
프롬프트 민감도 — 새로운 모델이 기존 프롬프트 구조와 잘 맞지 않을 가능성이 있음.
모델 교체 위험 — 출시 직후 모델을 바로 프로덕션에 적용하는 것은 위험함.

Gemini 3.5 Flash를 테스트해보고 프로덕션 모델 선택 결정에 사용하는 10개의 저장된 평가(evals)를 돌려봤습니다.

지금까지 결과는 예상과 다릅니다.

대부분의 작업에서 Gemini 3.5 Flash는 이전 Gemini 변형 모델들보다 성능이 떨어졌습니다. 아래 스크린샷은 모델당 5회 실행한 감정 감지 평가 결과입니다.

이 평가에서 3.5 Flash는 13위까지 밀려났습니다. 3.1-pro와 3.1 flash lite가 1, 2위를 차지한 것과 대조적이죠. 심지어 gemini 3 flash보다도 낮습니다. flash lite보다 10배나 비싼데 결과는 더 나쁩니다. 5회 실행 평균값이니 일시적인 오류도 아닙니다. 게다가 이건 비슷한 결과가 나온 10개의 벤치마크 중 하나일 뿐이고, 물론 이 경우가 가장 최악이긴 합니다.

====================================================================================================
LLM Benchmark Results - Emotion Detection - Increasing Complexity
====================================================================================================

Model Provider Avg Score Stability Rec. Temp Pricing Cost* Time Acc/$ Acc/min Completion
----------------------------------------------------------------------------------------------------------------------------------------------
gemini-3.1-pro gemini 80% (3.2/4.0) ±1.000 0.3 High $0.0292 23.48s 109.58 8.18 100.0%
gemini-3.1-flash-lite gemini 75% (3.0/4.0) ±0.000 0.3 Medium $0.00114 6.24s 2.63K 28.85 100.0%
gpt-5.4 openai 75% (3.0/4.0) ±0.000 N/A High $0.0128 8.45s 234.24 21.31 100.0%
claude-opus-4.6 anthropic 75% (3.0/4.0) ±0.000 0.3 High $0.0246 12.44s 121.73 14.46 100.0%
gemini-3-flash gemini 65% (2.6/4.0) ±1.000 0.3 Medium $0.00735 16.36s 353.81

총 테스트 모델: 15

저는 온라인 벤치마킹 도구를 통해 실행했습니다. Gemini 3.5 Flash가 전반적으로 나쁘다고 주장하는 건 아닙니다. 이건 제 개인적인 평가 데이터이고, Gemini를 포함한 모든 모델은 프롬프트에 민감할 수 있으니까요. 하지만 제 워크플로우에서는 안타깝게도 이 벤치마크 결과상 지금 당장 사용할 수는 없겠네요.

이전 출시 모델들 때문에 기대가 컸던 만큼, 이 상황이 바뀌길 정말 바랍니다. 저에게는 이번 결과가 인공적인 분석이나 일반적인 벤치마크가 모델 결정에 있어 얼마나 오해를 불러일으킬 수 있는지 보여주는 사례라고 생각합니다. 그들이 보여준 결과만 보고는 훨씬 더 나은 성능을 기대했거든요...

원문

커뮤니티 목록

r/promptengineering•4개월 전•76•11

Gemini 3.5 Flash 벤치마크 결과: 기존 모델보다 성능이 떨어지네요.

I benchmarked the new release Gemini 3.5 Flash on ~10 saved evals. Using the exact same prompts.

핵심 요약

Gemini 3.5 Flash를 기존 평가 데이터로 테스트한 결과, 이전 모델보다 성능이 낮고 비용 효율성도 떨어지는 것으로 나타남.

벤치마크 결과 — 기존 Gemini 3.1 모델보다 감정 분석 성능이 저조함.
비용 효율성 — Flash Lite 대비 10배 비싸지만 성능은 오히려 낮음.
프롬프트 민감도 — 새로운 모델이 기존 프롬프트 구조와 잘 맞지 않을 가능성이 있음.
모델 교체 위험 — 출시 직후 모델을 바로 프로덕션에 적용하는 것은 위험함.

Gemini 3.5 Flash를 테스트해보고 프로덕션 모델 선택 결정에 사용하는 10개의 저장된 평가(evals)를 돌려봤습니다.

지금까지 결과는 예상과 다릅니다.

대부분의 작업에서 Gemini 3.5 Flash는 이전 Gemini 변형 모델들보다 성능이 떨어졌습니다. 아래 스크린샷은 모델당 5회 실행한 감정 감지 평가 결과입니다.

총 테스트 모델: 15

주요 댓글

r/promptengineering

공식 벤치마크의 한계를 지적하며, 실무 환경에 맞는 자체 테스트의 중요성에 공감하는 분위기입니다.

솔직히 벤치마크 결과가 좀 충격적이네요. 구글이 그렇게 밀어주는데 3.5 Flash가 이전 모델보다 성능이 떨어진다니 아무도 예상 못 했을 겁니다. 최근 프로덕션에서 프롬프트 엔지니어링 작업을 하다 보면 새로운 모델들이 나올 때마다 비슷한 이상 현상을 겪곤 해요. 가끔은 '업그레이드'된 버전들이 기존에 잘 작동하던 프롬프트 구조랑 아예 안 맞는 경우가 있더라고요. 마치 다른 작업이나 추론 패턴에 최적화되어서 기존 방식이랑은 안 맞는 느낌이에요.

맞아. 출시 당일에 모델을 교체할 때 내가 가장 걱정하는 부분이 바로 이거야. 새 모델이 전체적으로 더 낫다 해도, 기존에 쓰던 프롬프트가 그대로 잘 작동한다는 보장이 없거든. 아직 프롬프트 변형까지는 제대로 안 해봤어. 이건 내가 모델 고를 때 쓰는 평가 세트를 그대로 쓴 거라, '오늘 당장 모델을 갈아 끼우면 어떻게 될까?'를 확인하는 테스트에 가까워. 3.5 버전에 맞춰서 프롬프트 형식을 다시 짜서 테스트해 볼 필요가 있다는 말엔 동의해.

네가 봇인지 아니면 AI 도움을 받아서 글을 쓰는 건진 모르겠는데, 문장마다 소문자로 시작하고 마침표도 안 찍고, EM 대시를 문법적으로 틀린 하이픈으로 바꾸는 그 이상한 후처리 스크립트 좀 그만 써라. AI처럼 안 보이려고 언어 수준을 낮추는 아주 유해한 트렌드인데, 아이러니하게도 이 글은 이미 충분히 사람 같아서 네가 그런 짓만 안 했으면 AI 쓴 줄도 몰랐을 거야.

하하, 마지막 문단이 이 글의 핵심이네요. Artificial Analysis 같은 지표들은 실제 프로덕션에서 아무도 안 쓰는 작업들을 평균 내는 거라, 모델 점수가 55점이라도 정작 본인이 필요한 작업에선 죽을 쑬 수 있죠. 결국 의미 있는 벤치마크는 본인 워크플로우에서 직접 저장한 것뿐이에요. 출시 발표 슬라이드만 믿지 말고 다들 이런 벤치마크를 직접 돌려봐야 합니다. 그리고 3.1 flash lite가 3.5 flash를 이긴 건 좀 충격적이네요. 더 구형에 작고 저렴한 모델이 이기다니 ㅋㅋㅋ

프롬프트 형태 가설은 일리 있지만, 그것만으론 부족해. 새로운 모델들은 특정 사용자 작업이 아니라 공개 벤치마크에 최적화해서 나오거든. 리더보드에선 성능이 좋아 보여도, 정작 본인이 만든 eval 케이스에선 퇴보할 수 있다는 거지. 난 이제 메이저 모델 업데이트를 코드 배포처럼 다뤄. 일단 eval 스위트부터 돌려보고, '새 거니까 더 좋겠지'라는 생각은 아예 안 해.

내 생각엔 모델 자체가 구린 거라기보단 프롬프트 형태 문제일 가능성이 커. Gemini 모델들은 사람들이 생각하는 것보다 프레임 구성이나 출력 제약 조건에 훨씬 민감하게 반응하거든. 그래도 모델 성능을 뽑아내려고 프롬프트를 다르게 짜야 한다면, 실무에서는 그것도 결국 성능 문제지.

흥미로운 데이터네요.

원문r/promptengineering