r/Anthropic•약 2개월 전•187•72
출처 확인 필수 - Claude가 Grokipedia 항목을 기반으로 논리를 구성함
PSA Check sources - Claude built a whole argument out of a Grokipedia entry
핵심 요약
Claude가 신뢰할 수 없는 출처인 Grokipedia를 인용해 답변을 생성한 사례를 공유하며 주의를 당부함.
- 출처 검증 필요 — AI가 생성한 콘텐츠 팜이나 신뢰도 낮은 사이트를 인용할 위험이 있음
- 모델 설정 활용 — Claude의 메모리 기능을 통해 신뢰할 수 없는 출처를 차단하는 방법이 공유됨
- 검색 품질 저하 — 신뢰할 수 있는 사이트들이 AI 크롤링을 차단하면서 오히려 저품질 사이트가 상위에 노출됨
- AI의 한계 — 모델이 정보의 진위 여부를 판단하는 기준이 부족하여 검증되지 않은 정보를 사실처럼 제시함
신고했고, AI가 생성한 콘텐츠 팜은 절대 인용하지 말라는 메모를 추가했어(100% 효과가 있을 거라곤 생각 안 하지만). 근데 젠장, 만약 내가 비판적으로 검토할 수 있는 주제가 아니었다면 절대 눈치채지 못했을 거야.
참고로 모델은 Opus5야.
