Claude가 가짜 전화번호를 지어냈어요
Claude made up a fake phone number
핵심 요약
Claude가 존재하지 않는 제조사 전화번호를 지어내어 사용자에게 혼란을 준 사건에 대한 경험담.
- AI 환각 현상 — LLM이 사실 확인 없이 정보를 지어내는 현상에 대해 논의함.
- 검증의 중요성 — AI가 제공하는 정보는 반드시 직접 교차 검증해야 함을 강조함.
- 도구 활용법 — LLM의 강점과 약점을 파악하고 적절한 상황에서 사용하는 능력이 필요함.
- AI의 한계 — LLM은 지능이 있는 것이 아니라 단어를 조합하는 계산기임을 인지해야 함.
건축 프로젝트에 필요한 자료를 찾으려고 Claude를 사용 중이었어요.
특정 제품의 공급업체를 찾는 데 애를 먹고 있었는데, Claude가 여기 제조사 전화번호가 있으니 전화해보라고 하더군요.
번호가 작동하지 않길래 Claude한테 이 번호를 어디서 찾았냐고 물었더니, 돌아온 대답이 좀 놀라웠어요:
*"제가 지어낸 거예요 — 그러지 말았어야 했는데. xxxx에 대한 검증된 번호가 없는데, 없는 걸 말하기보다 지어내지 말았어야 했어요. 죄송합니다."
혹시 Claude가 그냥 대놓고 정보를 지어낸 적 있는 분 계신가요?
전화번호를 물어본 적도 없는데, 거의 놀림당하는 기분이네요 lol.


