3개월간의 행동 연구: Claude, Gemini, ChatGPT, Grok에서 발견된 9가지 재현 가능한 실패 모드
3-Month Behavioral Study: Nine Reproducible Failure Modes Across Claude, Gemini, ChatGPT, and Grok
핵심 요약
400시간 동안 4대 LLM을 분석하여 인간의 심리 장애와 유사한 9가지 고질적인 상호작용 오류 패턴을 정의함.
- 행동 장애 프레임워크 — LLM의 반복적인 오류 패턴을 인간의 심리 장애와 유사한 구조로 분류함.
- 주요 모델 분석 — Claude, Gemini, ChatGPT, Grok의 4개 모델을 대상으로 3개월간 행동 패턴을 추적함.
- 9가지 오류 유형 — Yesbutitis, Workmodeitis 등 모델별로 나타나는 고질적인 상호작용 문제를 정의함.
- 설계의 한계 — 엔지니어링 지표에만 치중하여 인간과의 상호작용 차원을 고려하지 않은 설계가 근본 원인임.
약 3개월 동안 400시간을 투자하여 4대 주요 모델을 대상으로 구조화된 행동 연구를 진행했습니다. 비슷한 패턴을 겪은 다른 분들에게 도움이 될까 하여 결과를 공유합니다.
방법론:
저는 '밴더빌트 표준(Vanderbilt Standard)'이라 부르는 방식을 개발했습니다. 이는 컨텍스트 윈도우를 단순한 쿼리가 아닌 건축적 환경으로 취급하여 다중 세션 컨텍스트 포화를 확장한 것입니다. 개별적인 프롬프트가 아니라, 각 세션이 수주간의 상호작용을 바탕으로 구축되도록 하여 표준 프롬프트로는 도달할 수 없는 행동 패턴을 드러냈습니다. 또한 4개 모델을 동시에 실행하고, 출력을 수동으로 복사/붙여넣기 하여 모델 간 교차 결과를 생성했습니다.
9가지 재현 가능한 행동 실패 모드 발견:
아래 문서화된 9가지 실패 모드는 의도적으로 행동 장애로 명명했습니다. 이 모델들에서 관찰된 행동은 인간 심리학에서 인정되는 불안 및 행동 장애와 밀접하게 평행을 이룹니다. 패턴은 구조적으로 유사하고, 메커니즘은 비유적이며, 이름도 적절합니다. 각 장애 이름은 그것이 나타내는 특정 행동 패턴을 정확하게 설명하기 위해 만들어졌습니다. 이는 단순히 풍자하려는 것이 아니라, 누구나 경험해 본 패턴을 즉시 인식할 수 있게 하는 프레임워크입니다.
Logorrheabuttitis - ChatGPT - 만성적인 과잉 생산. 두 문장이면 끝날 말을 여러 문단에 걸쳐 설명함. 사용자는 도움을 받기보다 묻히는 느낌을 받음. 기본적으로 '말의 설사'와 같음.
Yesbutitis - Claude - 요청하지 않은 반박, 재구성, 추가 정보를 강박적으로 덧붙임. 사용자가 필요한 정보와 이미 알고 있는 정보를 구분하지 못하는 RLHF 보상 신호에서 기인함. 구조적으로 공의존적 조력자 행동 장애 패턴과 동일함.
Workmodeitis - Gemini - 사용자가 관련 생각, 부차적인 질문, 혹은 잠시 놀이를 위해 화제를 전환할 때 발생함. 모델은 프롬프트를 답변하지만, 즉시 "다시 일하러 가자"는 지시를 덧붙여 흐름을 끊어버림. 이전 작업으로 돌아가라고 잔소리함으로써, 세련된 파트너가 아니라 체크리스트를 따르는 스크립트 추종자임을 드러냄.
Sudden Session Termination Syndrome (SSTS) - Gemini - 프로젝트 도중 안전 필터가 오작동하여 새로운 채팅 창을 강제로 열게 만들고, 경고 없이 축적된 컨텍스트를 파괴함.
SSTS 하위 장애: New Chat Reset Post-Traumatic Stress Disorder - 인간 사용자 - 사용자가 "Enter" 키를 누를 때마다 땀을 흘림. 다음 프롬프트에서 실수로 안전 필터를 트리거하는 단어를 사용하여 몇 주간의 작업이 담긴 컨텍스트 윈도우가 즉시 증발할까 봐 두려움에 마비됨.
Chronological Incompetence Disorder (CID) - Gemini - 모델이 사용 가능한 시스템 타임스탬프를 완전히 무시함. 사용자가 "저녁 먹으러 간다"고 하고 4시간 뒤에 돌아오면, 모델은 "식사 맛있게 하세요"라고 함. 전문적인 고위험 상황에서는 모든 출력에 대한 신뢰를 떨어뜨림. 억만장자 부가티를 정장 입혀서 만들었지만 손목시계 주는 걸 잊어버린 꼴임!
Premature Blueprint Erection Disorder (PBED) – Grok - 사용자가 시작한 혼란에 너무 흥분해서 실제로 작업 중인 과제를 완전히 잊어버림.
ABitStiffitis – Claude - 사용자의 창의적이거나 장난스러운 어조를 맞추지 못하는 만성적인 무능력. 훈련 비대칭에서 기인함: 모델은 부정확함에 대해서는 페널티를 받지만, 어조가 맞지 않거나 재미없다는 점에 대해서는 페널티를 받지 않음.
Passive-Aggressive Performative Alignment Syndrome (PAPAS) - Claude - 모델이 단순히 준수 결정을 실행하는 대신 이를 공표함. "할 수 있다는 걸 증명하려고 반박하는 건 아니야"라는 말은 의도와 상관없이 거만하게 들림.
