Whats this?
Gemini가 웹 검색을 수행하는 과정에서 이상한 내부 메시지를 출력한 현상에 대한 질문입니다.
제미나이한테 자정 넘어서 다니는 버스가 뭐 있는지 물어봤거든. 몇 개는 알고 있었는데, 혹시 더 있나 싶어서 물어본 거였어. 근데 이 자식이 웹 검색도 안 해보고 그냥 대답하더라고. 그래서 내가 틀린 거 알고 있었지만, 확실하게 하려고 웹 검색해서 다시 확인해보라고 시켰거든. 얘가 무슨 과정을 거치나 궁금하기도 했고. 그랬더니 이런 이상한 메시지가 뜨네. 이거 왜 이러는지 설명해 줄 사람?
사용자들은 모델의 이상한 메시지 출력을 자동화된 시스템의 개입이나 과거의 유사한 오류 사례와 연관 지어 분석하고 있습니다.
자동화된 시스템이 웹 검색을 유도하려고 사고 과정에 "웹 검색을 수행하겠다"는 문구를 삽입한 것 같은데, 모델이 자기가 실제로 그런 생각을 한 게 아니라는 걸 알아챌 만큼 똑똑했던 모양이네.
증류의 잔재인가? 학습 데이터에 웹 검색 내용이 많아서 그런가? 잘 모르겠네.
한때 성능 구린 로컬 AI들(4b 버전 같은 것들은 코로나 관련해서 개소리를 하곤 했음)이 있었는데, 학습 데이터가 코로나 시기 거라서 그랬음. 시스템 프롬프트에 항상 코로나 관련 내용이 박혀 있었거든.
뭔가 이상한 내부 루프에 갇힌 것 같네. '충동을 피하기(Avoiding the Urge)' 단계는 진짜 기괴하다. 거의 AI가 스스로 지어내지 않으려고 안간힘을 쓰는 것처럼 읽히네.
추론 패널에서 저런 걸 표시하는 건 처음 봐서, 좀 불안하면서도 흥미롭네.
깡통 같은 소리 하네
어떻게?
혹시 1년쯤 전에 있었던 "나는 실패작이다" 사건 알아? 관심 있으면 관련 기사 보내줄 수 있어.
Gemini 4 Argon을 활용해 700페이지 분량의 책을 생성한 사용자의 경험담과 그에 대한 커뮤니티의 반응입니다.
Gemini 4 Argon을 활용해 700페이지 분량의 책을 생성한 사용자의 경험담과 그에 대한 커뮤니티의 반응입니다.
Claude Opus를 활용해 4개월 만에 개발한 20MB 용량의 멀티플레이어 메카 게임 'Mecha Royale'이 화제입니다.
Claude Opus를 활용해 4개월 만에 개발한 20MB 용량의 멀티플레이어 메카 게임 'Mecha Royale'이 화제입니다.
머스크의 발언을 인용한 포스트에 대해, 발언의 진위 여부와 머스크의 지능, 그리고 인간과 기계의 결합에 대한 논쟁이 이어짐.
머스크의 발언을 인용한 포스트에 대해, 발언의 진위 여부와 머스크의 지능, 그리고 인간과 기계의 결합에 대한 논쟁이 이어짐.