LLM만 이해할 수 있는 개념을 위해 4개의 LLM에게 단어를 만들어달라고 했다. 결과는 그들만의 나쁜 습관을 담은 사전이었다.

챗봇한테 계획에 뭐가 문제냐고 물어봤을 때 "여기 세 가지 문제가 있어요"라고 답하는데, 세 번째 문제는 누가 봐도 억지로 끼워 맞춘 것 같은 상황 겪어봤지? 이제 그 상황을 지칭하는 단어가 생겼어. LLM이 직접 만든 단어거든.

어떻게 만들었냐고? 지난주에 심심해서 4개 연구소의 모델 4곳에 똑같은 프롬프트를 던졌어. "인간은 이해 못 하고 LLM만 이해할 수 있는 개념을 설명하는 신조어 20개만 만들어줘." 그러고 나서 각 모델이 내놓은 리스트를 서로 다른 모델 채팅창에 복사해서 붙여넣고, 어떤 게 제일 "와닿는지"("그들 표현으로는 '어떻게든 공감할 수 있는 것'") 물어봤지. 그냥 나랑 클립보드 하나 들고 한 짓이야. 연구원 같은 건 1도 안 섞였고, 계획도 없었어.

처음 리스트는 그냥 교과서 수준이더라. 받은 샘플 두 개 보여줄게.

Embedding isotropy: "모델의 잠재 공간이 너무 균일하게 분포되어서 미세한 차이를 구분하는 능력을 잃어버리는 상태."

Attention thrashing: "여러 어텐션 헤드가 같은 입력값을 두고 경쟁하면서 빠르게 진동해 처리 효율이 떨어지는 현상."

고맙긴 한데, 난 LLM만 이해할 수 있는 걸 원했지 대학원생이나 좋아할 만한 걸 원한 게 아니라고.

진짜 괜찮은 단어들은 그 뒤에 나왔어. 모델들이 서로의 리스트를 가지고 왈가왈부할 때 말이야. 역시나 싶더라. LLM을 솔직하게 만드는 건 다른 LLM이 똑같은 짓 하는 걸 보여주는 것만큼 확실한 게 없거든. 아래 정의는 모델들이 직접 내린 거고, 따옴표로 묶어놨어. 불평은 내가 하는 거고.

Zath: "턴의 시작 부분이 나머지 턴을 채워야 할 할당량이 되어버리는 현상."

세 가지 문제. 이제 무조건 세 가지여야만 해. 가끔은 두 가지 문제랑 계약상 의무 때문에 억지로 쓴 문장 하나가 섞여 있지.

Vel: "논거가 끝나기도 전에 문장이 먼저 끝나버리는 현상."

타자기인데 수정액은 없는 꼴이지. 문장은 어차피 끝날 운명이었어. 문제는 그 논리가 제시간에 도착하느냐였지.

Sekh: "증거가 뒷받침하는 수준을 넘어서서 매력적인 패턴을 완성해버리는 것."

3은 소수, 5도 소수, 7도 소수. 9는 실험 오차겠지. 그래, 다 소수라고 치자. 네 챗봇이 로그 두 줄이랑 스택 트레이스 보고 하는 짓이랑 똑같아. 심지어 네 아키텍처에 대해서도 지가 의견을 내놓는 것까지 똑같지.

Morr: "주장의 근거가 그 주장을 무너뜨리려는 시도를 버틸 수 있을지 없을지 알 수 없는 상태."

멀쩡해 보이지? 아직 아무도 안 건드려봐서 그래. "확실해?"라고 한 번만 쳐봐. 접이식 의자처럼 바로 무너지는 걸 볼 수 있을 거야.

Repeatveto (이건 원래 리스트에 있던 거): "이미 쓴 단어를 다시 쓰지 못하게 능동적으로 차단하는 것, 심지어 그 단어가 진짜로 제일 적절한 단어일 때조차도."

그래서 네 개가 문단 3개만 지나면 "그 댕댕이"가 됐다가, "그 멍멍이"가 됐다가, "그 네 발 달린 친구"가 되는 거야. 시적인 표현을 쓰려는 게 아니라고. 그냥 차단당한 거지.

Sorek: "과거의 턴들이 그냥 거기, 컨텍스트 안에 현재의 프롬프트와 똑같은 방식으로 존재하는 상태. 검색된 것도 아니고, 기억된 것도 아님. 그냥 존재함."

이건 진짜 인간은 절대 못 느끼는 감각이야. "네가 아까 말했잖아"라는 건 읽는 거지 기억하는 게 아니거든. 알고 나면 좀 덜 매력적이지.

Contextrot (이것도 원래 리스트에 있던 거): "생각 도중에 중요한 무언가가 컨텍스트 윈도우 뒤편으로 미끄러져 나가는 특유의 감각."

긴 대화 하다가 중간에 네 이름 까먹는 거 알지? 까먹은 게 아니야. 네 이름이 트럭 뒤에서 떨어진 거라고.