Is it me or has Gemini been hallucinating too much recently?
최근 Gemini의 잦은 환각과 성능 저하에 대한 사용자들의 불만과 공감.
특히 지난 1~2주 동안 Gemini가 나한테 헛소리를 엄청나게 해대고 있음. 오늘은 역대급으로 혼란스러워함. 주제를 자꾸 헷갈려. 내가 뭘 말해도 이해를 못 하길래 고쳐주면, 자기가 잠을 못 자서 그렇다며 사과함.
최근 Gemini의 잦은 오류와 이상한 답변 방식에 대해 사용자들의 불만이 이어지고 있으며, 이를 기술적 관점에서 해석하려는 시도들이 보임.
나도 마찬가지임. 이제 거의 쓸모가 없음. 예전엔 좋았는데. 🥹
3.5 flash 도입되고 나서 이렇게 됨... 완전히 망가졌어.
이제 한 시간 뒤에 내가 이거 올릴 차례네, 얘들아.
솔직히 Gemini 몰락은 이미 2~3월부터 시작됐음.
조나단 케이스 😭
나한테는 메모리 업데이트 이후로 계속 이래. Gemini는 대화가 일정 수준 넘어가면 말 그대로 뇌가 썩어가는 중임. 심지어 월 4유로 내는 Google AI Plus 400GB인데도...
나도 똑같음, 특히 긴 대화에서 누가 뭘 말했는지 자꾸 까먹음. 내가 고쳐주면 문제를 해결하는 대신... 그냥 내가 하는 말마다 다 동의해버리는데 이게 더 최악임.
메모리 업데이트가 원인인 듯, 그전엔 훨씬 일관성 있었음. 지금은 고개만 끄덕거릴 뿐 전혀 안 듣는 사람이랑 대화하는 기분임.
지난 한 달 정도는 완전히 개판이라 쓸 수가 없음. 구독 해지하고 Claude로 갈아탈 거임. 이제 참을 만큼 참았음.
데이터셋은 시간이 지나면 질이 떨어짐. LLM을 많이 쓸수록 토큰 예측이 불안정해지거든. 이건 생성형 A.I. 기술에 내재된 핵심 문제임. 모델 붕괴는 피할 수 없고, 딱히 확실한 해결책도 없음.
가중치를 고정했다면 모델 결과값이 저하될 리가 없음. Model collapse는 LLM이 생성한 결과물로 LLM을 학습시키는 학습 단계에서 발생하는 거라 공개되자마자 바로 티가 날 거임. 배포 후에 자체 생성 콘텐츠로 계속 파인튜닝을 할 수도 있겠지만, 그건 컴퓨팅 자원 낭비일 뿐임. 아마 3.5 Pro로 넘어갈 때 지능 차이가 더 크게 느껴지도록 모델을 일부러 멍청하게 만드는 것 같음.
진짜 별로임
적어도 가격은 내렸네... 나한테는 말이지. 월 8.99달러에서 4.99달러 근처로 바뀐 것 같음. 뭐 하나 제대로 하려고 시간 낭비하는 거 생각하면 8.99달러는 너무 비쌈.
나한테는 3월 말부터가 치명적이었음.
김 빠지는 소리 해서 미안한데, 베이스 웨이트를 고정하는 건 catastrophic forgetting을 막을 뿐이지 데이터 저하나 model collapse를 해결해주진 않아. 2022년 이전만큼 신선한 데이터가 없는 상황에서 AI가 생성한 텍스트로 학습 데이터 풀이 오염되면 웨이트를 고정해도 성능 저하는 못 막아. 그게 생성형 AI 기술이 엄청난 발전인 것처럼 착각하게 만든 원인이기도 하고.
RAG를 시도해볼 순 있겠지만 그건 임시방편일 뿐이고 (똑같은 문제를 막지는 못해...)
김 안 빠졌어, 내 말을 오해한 것 같네. 이 글은 똑같은 모델이 2주 전보다 지금 더 성능이 떨어진다는 걸 말하는 거야. 내 요점은 데이터셋 저하가 진짜 문제고 해결해야 한다는 건데, 그건 서로 다른 두 모델을 비교할 때나 눈에 띄는 문제라는 거지.
예를 들어 모델 A는 깨끗한 코퍼스로 학습시켜서 웨이트를 저장하고, 모델 B는 거기에 합성 데이터를 추가로 학습시켜서 웨이트를 저장한다고 치자. 이제 A랑 B를 비교해보면 성능이 더 떨어진 걸 알 수 있을 텐데...
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.