LLM에 대한 흔한 오해들
Some common misunderstandings about LLMs
핵심 요약
LLM은 마법이 아닌 확률적 시스템이므로, 사용자가 기대하는 결정론적 동작과는 차이가 있다는 점을 강조합니다.
- 프롬프트 역할 부여 — 역할 지정이 실제 전문 지식을 주입하는 것은 아님
- 환각 현상 제어 — '절대 금지' 같은 표현으로 환각을 완벽히 막을 수는 없음
- 의도 파악의 한계 — 모호한 입력에서 의도를 추론하는 것은 생각보다 훨씬 어려움
- 프롬프트 최적화 — 무조건 긴 프롬프트가 좋은 결과를 보장하지는 않음
계속해서 똑같은 오해들을 보게 되어서, 몇 가지 실질적인 내용을 정리해 본다:
1. “너는 변호사야”라고 한다고 변호사가 되는 것은 아니다
역할 프롬프트는 스타일과 어휘를 바꿀 수는 있다. 하지만 마법처럼 전문적인 지식을 설치해 주지는 않는다.
법률적인 말투는 얻을 수 있겠지만, 법정에서 바로 사용할 수 있는 수준의 법률 업무를 기대할 수는 없다.
유명 변호사의 글이나 공개적인 의견을 모델에게 학습시킨다고 해서 모델이 그 사람이 되는 것도 아니다. 모델은 실제 판단력보다는 표현의 패턴을 훨씬 더 쉽게 모방할 수 있다.
2. “절대 환각을 일으키지 마”는 강력한 제약 조건이 아니다
절대, 반드시, 엄격히, 금지와 같은 단어들은 여전히 언어 토큰일 뿐이다. 행동에 영향을 줄 수는 있지만, 실제 시스템 제어처럼 작동하지는 않는다.
그래서 많은 “엄격한 프롬프트”들이 실제로는 실패하는 것이다.
3. 의도 파악은 대부분의 사용자가 생각하는 것보다 어렵다
많은 요청들이 모호하고, 모순적이며, 감정적이고, 구체적이지 않거나, 핵심적인 제약 조건이 빠져 있다.
모델은 종종 엉망인 인간의 입력으로부터 목표를 추론해야만 하는 상황에 놓인다.
4. 프롬프트 텍스트가 길다고 항상 더 좋은 결과가 나오는 것은 아니다
긴 프롬프트는 종종 노이즈, 상충하는 지시, 숨겨진 우선순위 충돌, 또는 초점의 흐림을 더할 뿐이다.
때로는 더 짧고 명확한 것이 더 잘 작동한다.
5. 자신감 있는 말투 ≠ 자신감 수준
확신에 차 있는 답변이 모델이 그것이 옳다는 것을 “알고 있다”는 뜻은 아니다.
유창한 언어는 신뢰할 수 있는 추론으로 오해받기 쉽다.
6. 멋진 데모 ≠ 배포 가능한 시스템
한 번의 훌륭한 답변은 반복적인 워크플로우 내에서의 신뢰할 수 있는 동작과는 매우 다르다.
운영 시스템에는 일관성, 경계, 복구 경로, 그리고 감사 가능성이 필요하다.
맺음말:
LLM에 대한 많은 실망감은 확률적 시스템에서 결정론적인 소프트웨어 동작을 기대하는 것에서 온다.
LLM은 마법도 아니고 쓸모없는 것도 아니다. 그저 특정한 강점과 특정한 한계를 가진 강력한 도구일 뿐이다.
