How much do you REALLY know about AI?
AI를 매일 사용하면서도 정작 그 작동 원리나 개념을 오해하는 사람들에 대한 토론입니다.
우리는 매일 ChatGPT, Claude, Gemini 그리고 AI 에이전트를 써대지만, 정작 얘네가 어떻게 돌아가는지 제대로 아는 사람이 얼마나 될까?
모델, 학습 데이터, 컨텍스트, 환각, 에이전트, 추론...
사람들이 가장 오해하고 있다고 생각하는 AI 개념 하나만 꼽자면 뭐야?
AI의 기술적 원리(컨텍스트, 토큰, 할루시네이션, 도구 호출 등)에 대한 대중의 오해를 바로잡고, AI의 자신감을 정답과 동일시하는 태도를 경계해야 한다는 의견이 주를 이룹니다.
예전엔 컨텍스트 윈도우를 데이터베이스처럼 과거 대화 내용을 저장하는 영구적인 모델 기억 장치로 생각했었음. 긴 대화가 진행될수록 성능이 떨어지는 걸 보고 내가 틀렸다는 걸 깨달았지. 실제로는 매 턴마다 처음부터 다시 처리되는, 슬라이딩 방식의 단기 작업 공간이더라고.
대부분의 사람들은 학습 데이터가 모델 어딘가에 저장되어 있고 AI가 그걸 조회해서 사실을 가져온다고 생각하지만, 실제로는 데이터베이스 조회 같은 건 없고 전부 가중치에 내재된 확률값일 뿐임.
모델이 거대한 인간의 뇌처럼 사용될 때마다 스스로 학습하고 업데이트된다는 흔한 오해까지 있더라. 왜 그렇게 많은 사람들이 특이점에 대해 떠들어대는지 알겠음.
대부분의 사람들이 도구 호출(tool calls)을 전혀 이해하지 못하는 것 같음. 모델은 실제로 환경과 상호작용하는 게 아님. 그냥 특정 구조의 텍스트를 출력하도록 학습된 것뿐이고, 그와 상호작용하는 소프트웨어가 명령을 실행하는 거지.
니 말이 딱 맞다. 모델이 그냥 뒤에서 누가 돌리는 포맷을 뱉어내기만 하는데 사람들은 무슨 마법이라도 부리는 줄 알더라. 진짜 상호작용이라기보단 그냥 짜여진 각본대로 돌아가는 거 보는 기분임.
난 항상 할루시네이션이 제일 무서움. AI는 정말로 자기가 뭔가에 대해 확신하고 있고 신뢰할 만한 출처가 뒷받침되는 것처럼 사람을 속일 수 있거든. 근데 실제로는 완전히 틀린 내용일 수도 있고. 젠장, 나도 AI만큼의 자신감이 있었으면 좋겠다.
AI가 현실적인 근거도 없이 자기 주장을 두 번, 세 번씩 고집하는 걸 보는 것만큼 환상이 깨지는 일도 없지. 쓰면 쓸수록 유용하긴 한데, 동시에 사람들이 AI의 실수를 얼마나 못 알아채는지 생각하면 걱정도 돼.
토큰화 개념이랑 왜 그렇게 많은 AI가 'Strawberry에 R이 몇 개냐'는 질문에 제대로 답을 못 하는지 말이야.
그리고
가장 큰 모델에 가장 큰 노력을 들이면 최고의 결과가 나온다는 생각. 그리고 '프롬프트 하나에 토큰 다 태웠다'는 소리. 이거 진짜 짜증 나. 직장에서 맨날 똑같은 말 반복한다고: '아니, 스프레드시트 정렬하는 데 Fable 고성능 모델까지는 필요 없다고 제발 좀!'
이 말에 덧붙이자면, 사람들은 프롬프트마다 모델을 바꿀 수 있다는 걸 잘 모름. 그냥 성능 좋은 거 하나만 계속 쓰지, 자기 목적에 맞춰서 모델을 바꾸려고 하질 않음.
난 기술적인 사람은 아니고, 문서 AI 스타트업에서 콘텐츠랑 제품 디자인을 담당함. 그래서 내가 아는 대부분은 우리 제품에 대해 글을 쓰고 디자인하면서 배운 거지, CS 배경지식은 없음 (속성 코스를 좀 듣긴 했지만 제대로 한 건 아님).
사람들이 가장 잘못 알고 있는 개념은 '자신감'이라고 생각함. 사람들은 '모델이 자신감 있게 말하니까' 정답일 거라고 생각하는데, 그건 완전히 별개의 문제임. 모델은 완전히 틀린 소리를 하면서도 아주 확신에 차서 말할 수 있거든, 그리고...
사람들이 LLM이 뭔지, 프롬프트가 뭔지 근본적으로 이해를 못 하는 것 같음. LLM은 본질적으로 에이전트가 아니고 스스로 어떤 주체성도 없음. LLM은 그냥 가만히 있는 거임. 인간 언어의 구조를 나타내는 거대하고 다차원적인 풍경이라고 생각하면 됨. 프롬프트는 그 풍경을 가로지르는 초기 방향을 제시하는 거고. 이렇게 생각해 봐. 단어들을 조합할 수 있는 모든 경우의 수를 다차원 공간으로 표현한다고 치자고. 네 프롬프트가 그 공간에서...
그래서 모델 자체보다 에이전트 레이어가 더 중요할 수 있다는 거임. 메모리, 툴, 피드백 루프를 추가하면 그 요소들이 어떻게 상호작용하는지 관리할 확실한 방법이 필요하거든. 거기서부터 진짜 흥미로워지는 거지.
사람들이 가장 잘못 알고 있는 것 중 하나: 'AI를 돌리려면 거대한 중앙 집중식 인프라가 필요하다.'
많은 사람들이 AI로 의미 있는 걸 만들려면 엄청난 기술 예산이나 비싼 클라우드 서버가 필요하다고 생각함. 이제는 전혀 사실이 아님.
탈중앙화 GPU 네트워크가 이 판도를 조용히 바꾸고 있음. 이제 전 세계 개인이나 데이터센터의 유휴 GPU를 훨씬 저렴한 비용으로 빌릴 수 있음. (참고로 난 io Intelligence AI Agent Crew의 일원으로 이 분야를 탐구 중임.)
다른 오해는...
AI의 비약적인 발전을 쉬운 언어와 스토리텔링으로 설명한 글을 썼음.
맞아, 나도 새로운 모델 나올 때마다 일단 낮은 등급부터 써보고 필요하면 올리는 식으로 함. 보면 다들 처음부터 울트라 모델 쓰다가 토큰 다 떨어져서야 낮추는 경우가 태반이더라...
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.