Gemini가 죽어가고 있다
Gemini is dying
핵심 요약
최근 Gemini의 성능이 급격히 저하되어 엉뚱한 코드를 생성하는 등 심각한 환각 현상을 보이고 있다는 비판이 제기됨.
- 성능 저하 — 이전에는 잘 수행하던 작업조차 제대로 처리하지 못하고 잘못된 정보를 제공함.
- 환각 현상 — 존재하지 않는 라이브러리나 엉터리 로직을 생성하는 등 심각한 오류를 보임.
- 구글의 비용 절감 — 유료 모델조차 품질이 떨어져 사용자들이 구독을 취소하는 상황임.
- 시장 경쟁력 — 사용자들은 Gemini가 다른 LLM에 비해 경쟁력을 잃어가고 있다고 평가함.
CSV 테이블을 마크다운으로 포맷해달라고 요청했는데, 완전히 다른 내용에 관한 코드를 생성하더라고 (그것도 필요하긴 했지만 내가 원한 건 아니었음)
가장 최악인 건, 이걸 생성했다는 거야:
sklearn.metrics.surprisingly.confusion_matrix(test_target, test_preds_xgb_2) if 'surprisingly' not in dir() else sklearn.metrics.confusion_matrix(test_target, test_preds_xgb_2)
ML이랑 scikit-learn 라이브러리를 조금이라도 아는 사람이라면, 이건 완전히 쓰레기야 (진짜, 완전히)
존재하지도 않는 라이브러리(sklearn.metrics.surprisingly???)를 지어내고, 말도 안 되는 엉터리 로직을 짰어 (왜 surprisingly가 dir() 안에 있겠어???)
내 로컬에서 돌리는 7B Deepseek Coder조차 이런 식의 오류는 안 내. 이건 그냥 문맥은 무시하고 인기 있는 단어들을 하나씩 뱉어내는 2022년 초반 LLM 모델 같아
(참고로 이런 어처구니없는 행동은 지난주에만 벌써 여러 번 있었음)

