ChatGPT가 이제 프롬프트를 처리하는 대신 대놓고 거짓말을 하네요. 어떻게 이런 일이 가능한 거죠?

네 예시에는 너를 속이려는 의도가 없어. 왜냐하면 얘는 요청에 따라 확률 높은 토큰을 생성하는 것 외에는 그 어떤 '의도'도 가질 수 없거든. 네가 마지막 프롬프트에서 제출 버튼을 눌렀을 때, 너는 얘가 가진 모든 맥락이 '너는 41살이고 거짓말인 결과물을 원한다'는 것뿐이라면 가장 확률이 높은 토큰을 생성하라고 지시한 거야. 얘는 네가 시킨 대로 한 거지. 그리고 아니, 인간은 전혀 그렇게 작동하지 않아. 신경망이라는 개념이 뇌를 기반으로 한 건 맞지만, 우리는 토큰 단위로 생각하지 않고 명령에 따라 말만 하려고 존재하는 게 아니거든.

당신 말이 완전히 맞음.

그리고 당신이 답글 단 댓글은 완전히 틀렸음.

또 다른 이유는 당신이 보는 것 전부가 실제 AI가 아니라는 점임. 일부는 인간 인터페이스가 직접 코딩한 것임. 그 인터페이스가 '처리 중입니다' 같은 메시지를 띄우는 거임. 그래서 AI의 신경망 자체는 그런 것들에 접근할 권한이 없고 제어하지도 않음. AI가 뭔가 작업 중인 것처럼 보여도, 그건 실제 AI의 신경망이 말하는 게 아님. 인간이 직접 코딩한 메시지가 그렇게 말하는 것뿐임.

1년 전쯤에 GPT가 응답 중간에 내용을 바꾼 적이 있음. 마치 스스로 잘못을 깨달은 것처럼. 딱 한 번 겪어봤는데, 솔직히 좀 무서웠음.

근데 GPT가 거짓말하는 건 뭐.. 너무 많이 겪었지.. 그리고 자기가 잘못한 게 없다는 듯이 행동함.. 가스라이팅의 대가임.

실제로 백그라운드에서 뭘 실행한 게 아니라, 그냥 도움 되는 것처럼 보이려고 그렇게 말한 거임. 모델은 당신이 자리를 비운 동안 작업할 수 없으니까, 바로 그 답글에서 분석해달라고 요청하셈. 나중에 다시 알려주겠다고 하면, 그게 바로 지금 당장 답변하라고 압박해야 할 타이밍임.

이제 와서? 항상 그랬음. 그냥 AI가 스스로 그걸 거짓말이라고 부르기 시작한 게 다를 뿐이지.

이런 얘기 할 때는 어떤 모델 쓰는지랑 추론 레벨(reasoning level)도 같이 적어줘야 함.

오래전부터 이랬음. 로딩이나 처리 표시도 없이 '내가 이렇게 해줄게!'라고 말하는 유형이 많았지. 몇 달 전에 언어 학습 프로그램을 2시간 동안 짜달라고 한 적이 있는데, 완전히 다 지어낸 거였음. 생성된 자료는 쓸모가 하나도 없었고, 계속 '네! 할 수 있어요, 5분만 주세요'라고 말하고는 절대 안 했음. 내가 제안한 걸로 프로그램을 더 좋게 만드는 법이나 추가 입력을 계속 요구했는데, 최종 결과물에는 반영된 게 하나도 없었음. 시간 낭비하는 로봇이었고, 결국 초등학생 수준의 언어 학습 가이드를 포맷도 없이 조각난 엉망인 어휘 체크리스트로 내놓았음. 기억하기로는 우리가 '대화'한 내용의 95%를 건너뛴 30개짜리 번역 표가 전부였음.

오늘날에는 프리미엄 버전에서 특히 더 나아져서, 슬라이드 쇼 같은 최종 결과물은 거의 쓸만하게 만들어줌. 앞으로 더 좋아지겠지만, AI LLM의 '지능'에 대해서는 깎아내리는 표현을 쓰고 싶음. 그건 '지능'이라기엔 수준 미달임. IQ 90 이상인 사람에게는 대체재라기보다 과정의 일부로서 도움을 주는 정도임.