Sign of the times
AI 모델의 정답률과 오류 가능성, 그리고 반복되는 게시물에 대한 커뮤니티의 반응을 다룹니다.
AI 모델의 정확성과 오류에 대한 논의가 주를 이루며, 동일한 게시물이 반복되는 것에 대한 피로감과 AI의 고집스러운 태도에 대한 흥미로운 반응들이 나타나고 있습니다.
모델의 정답도 틀릴 수 있음
학창 시절 가장 자랑스러웠던 순간 중 하나가 시험에서 2문제를 틀렸다고 채점받았을 때였는데, 도서관에서 교과서를 찾아 선생님께 내 답이 모델 답안보다 훨씬 낫다는 걸 증명해 보였던 일임.
아들 시험 공부를 도와주면서 이런 일을 몇 번 더 겪었음. 모델 답안은 가끔 틀림. 보통 수학 문제는 안 그렇지만, 가끔은 그럴 때도 있음. 거기서 그렇게 많이 틀렸다는 게 놀라움. 아마 수준 낮은 시험 출제 기관이 만든 수준 낮은 문제 세트였을 듯.
(맞음, 어릴 때 완전 물리학 너드였음)
내 경험상 "AI가 틀렸다"는 말의 95%는 "사람들이 AI를 제대로 사용하지 못하고 있다"는 뜻임. 3.5 flash lite 같은 모델로 어려운 문제를 풀려고 하거나, self-validation이나 self-checking 같은 적절한 에이전트 설정이 부족한 경우 등등.
사람들이 구글에 검색어를 넣고 아주 기본적인 AI 응답이 헛소리를 내뱉는 걸 볼 때 이런 상황이 자주 발생함. 그러고는 바로 "AI는 ~에 대해 아무것도 모른다"는 반응이 나오지. 그래서 내가 약간의 가이드와 함께 조금 더 상세한 프롬프트를 작성해서 최신 모델에 넣으면 출처가 명확한 답변을 얻을 수 있음. 사람들이 저급 AI가 하는 말을 무조건 믿지 않고 회의적인 태도를 갖는 건 좋지만, 이건 여전히 AI가 어떻게 작동하는지 제대로 이해하지 못하고 있다는 걸 보여주는 또 다른 극단적인 사례임.
그래, AI는 이미 빨대를 통해 세상을 보고 10피트짜리 장대로 행동해야 하는 저주받은 초지능 존재 같아. 멍청한 모델은 어디를 봐야 할지 알려주면 정답을 맞히지만, 똑똑한 모델은 빨대 주변의 풍경을 추론하거나 짐작하고, 그 짐작을 맹신하는 대신 검증하는 데 사용하지.
내가 '모범 답안'이라는 용어를 쓴 걸 오해한 거 아냐? 시험에서 모범 답안은 채점자가 학생 답안을 채점할 때 기준으로 삼는 정답을 말하는 거야. LLM이나 다른 AI 모델이 만든 답이 아니라고. 시험지 채점 맥락에서 모범 답안은 그런 뜻이 아니야. 핵심은 LLM이 특정 시험에서 모범 답안보다 더 나은 답을 내놓을 수 있었다는 거야. 이런 일이 발생한 횟수를 보면 그 시험의 질이 낮다는 뜻이겠지. 하지만 좋은 시험에서도 가끔 이런 일이 일어나긴 해.
무료 버전 쓰고 있는 거임?
아들 과외할 때 시험 출제 기관에서 제공한 샘플을 사용했고, 아들의 학교 시험 결과를 같이 검토하고 있었음.
나는 물리학 학위가 있고, 시간을 들여서 제대로 확인해 볼 의향이 있었음. 두 번째 사례에서는 출판된 자료들 중 일부가 부족하다고 생각함.
어릴 때 수학 선생님 말에 따르면, 틀린 모델 답안은 누가 교과서 복사본을 라이선스 없이 공유했는지 알아내기 위해 사용될 수 있다고 함.
라이선스 보유자마다 서로 다른 버전의 틀린 답안을 가지고 있을 거라는 아이디어지.
그럼 저작권 강제하려고 애들한테 헛소리를 가르친다는 거네? 환상적이구만.
꼭 그렇지는 않음. 요즘 모델들은 인터넷 검색을 통해 답을 찾고 검증하는 도구를 사용함. 적어도 어느 정도 유능한 모델이라면 다 그렇게 함.
형, 이거 이미 같은 제목으로 올라왔던 거잖아. 그만 좀 해.
이제 리포스트(재게시) 필터가 필요한 수준까지 왔네. 뉴스나 의견이 이미 올라온 적이 있다면 차단되는 레딧을 상상해 봐. 그러면 진짜 좋을 텐데.
우리의 초기 평가에 따르면 GPT-6-Astra의 점수는 80점대 후반이었고, Opus 5.5가 그 뒤를 바짝 쫓았음.
하지만 모델들이 저질렀을지도 모르는 실수를 조사하기 시작했을 때, 모델들, 특히 Astra는 자신들이 옳으며 전문가가 제공한 답안이 틀렸다고 주장했음. 전문가들에게 다시 확인을 요청했을 때, 여러 사례에서 전문가들이 계산 깊숙한 곳에 숨겨진 미묘한 오류를 발견했다는 사실이 드러남. 그들이 답안을 수정하자 Astra의 점수는 조금씩 올라갔고 결국 98%(49/50)로 마무리됨.
해결하지 못한 한 문제는 모델이 "실수"를 해서가 아님. 이건 트릭 프롬프트였고, 모델이 영감을 받은 추측을 하고 규칙을 살짝 비틀어야 하는 문제였음. 아직 그건 못함.
누가 바이브 코딩(vibe-code)으로 좀 만들어봐라 ㅋㅋ
이거 분명 봇이 레딧에 도배하는 걸 거야. 근데 레딧은 신경도 안 쓰지.
연구원들이 발견했다는 '중국 AI 스웜'의 실체가 단순한 크롤러나 LLM 대화일 뿐이라며 커뮤니티가 냉소적인 반응을 보이고 있습니다.
연구원들이 발견했다는 '중국 AI 스웜'의 실체가 단순한 크롤러나 LLM 대화일 뿐이라며 커뮤니티가 냉소적인 반응을 보이고 있습니다.
ChatGPT로 직접 웹사이트를 만든 고객에게 해고당한 개발자가 AI 시대의 직업적 위기감과 변화에 대해 토로합니다.
ChatGPT로 직접 웹사이트를 만든 고객에게 해고당한 개발자가 AI 시대의 직업적 위기감과 변화에 대해 토로합니다.
메타가 코딩과 에이전트 작업에 최적화된 816B 파라미터의 오픈 웨이트 모델 'Muse Spark Open'을 공개했습니다.
메타가 코딩과 에이전트 작업에 최적화된 816B 파라미터의 오픈 웨이트 모델 'Muse Spark Open'을 공개했습니다.