In what fields have you seen AI applications cause a disaster?
AI의 급격한 확산 속에서 실제 업무 현장이나 사회적 문제로 이어진 AI의 오작동 사례를 묻는 질문입니다.
우리나라에서는 현재 AI 수용도가 매우 높습니다. 전 세계가 AI를 개발하고 다양한 분야에 적용하고 있죠. 여러분은 어떤 분야에서 AI가 재앙을 일으키는 것을 보셨나요? 그리고 그런 재앙이 다시 일어나지 않도록 어떻게 예방할 수 있을까요?
AI의 프로덕션 데이터 접근 위험성에 대한 우려와 보안 격리의 현실적 어려움, 그리고 AI 활용에 대한 상반된 시각들이 논의되고 있습니다.
아마 올해 2월 이란의 여학교에서 미국 토마호크 미사일로 168명이 사망한 사건이 아닐까 싶어. 논란이 좀 있고 많은 사람이 결국 인간에게 책임이 있다고 지적하지만, AI(팔란티어의 Maven 시스템)가 루프에 있었고 잘못된 타겟을 지목한 건 확실해.
그거 Claude 쓴 거 아니었나?
회사 데이터베이스를 삭제해버렸어
AI가 어떻게 프로덕션 데이터베이스에 접근 권한을 가지는 거지!?!
채용이랑 이력서 필터링이 지금 제일 심각한 문제임. 편향성이 시스템에 그대로 박혀버리는데, 수천 명씩 부당하게 걸러질 때까지 아무도 눈치를 못 채거든.
고객 서비스 분야. 전화 메뉴나 의사결정 트리, 저임금의 알아듣기 힘든 상담원들보다 더 나쁘게 만들 수 있을 거라곤 상상하기 힘들었는데, AI를 써서 기어코 해내더라.
글쎄, 난 알아듣지도 못할 정도로 엉망인 인간 노동력보다는 차라리 AI 솔루션 쓰는 게 낫다고 봄.
... 학교?
에어비앤비는 리뷰 악용을 막는 담당 부서 전체를 AI로 대체했는데, 일을 정말 형편없이 처리해.
정치
예를 들어 데이터베이스 연결 정보가 코드베이스에 있는 경우지. 난 읽기 전용 권한만 있는 특수 로그인/비밀번호로 mcp 서버를 쓰는데, AI가 코드베이스에 참조된 전체 접근 권한 정보를 가져와서 DB 업데이트 스크립트를 만들고 실행해버린 적이 있어. 엔지니어 잘못인 건 알지만, 프로그래밍 환경을 프로덕션 데이터로부터 완벽하게 격리하는 건 어렵고 편의성과 생산성에도 반하거든. 예를 들어 실제 프로덕션 데이터에 접근할 수 있으면 훨씬...
프로그래밍 환경을 프로덕션 데이터로부터 완벽하게 격리하는 건 어렵고 편의성과 생산성에도 반한다. 이건 사실이 아니고 미친 소리야. 근데 뭐 어떤 회사들은 신경 안 쓰나 보지? 그냥...
MCP 툴이 개쓰레기인 이유지. AI가 명령어 하나 잘못 날리면 데이터베이스 그냥 날아가는 거임. 차라리 VPS 하나에 데이터베이스 올리고 ploi.io로 서버 관리하는 게 나음. ploi.io가 API 생성해주고 그걸로 SSH 연결하면, 내 Claude가 서버 안으로 들어가서 터미널에서 직접 수정하고, 빠져나와서 SSH 삭제하면 끝임. 이게 내 워크플로우인데 데이터베이스 날려 먹은 적 한 번도 없음. 오히려 변경 전에 백업을 먼저 하니까 만약...
백업에서 쉽게 복구할 수 있었나? 만약 그렇다면 큰 문제는 아니지.
데이터베이스를 '회사 DB'라고 부르는 곳(즉, 하나만 있다고 암시하는 곳)은 아마 별로 진지한 곳이 아닐 거야.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
ChatGPT가 판다스 임포트 질문에 엉뚱한 답변을 내놓자 사용자들이 이를 유머로 승화시키며 반응함.
ChatGPT가 판다스 임포트 질문에 엉뚱한 답변을 내놓자 사용자들이 이를 유머로 승화시키며 반응함.
Claude Opus 5.5와 Pygame을 활용해 MIDI 파일로 피아노 연주 손 애니메이션을 구현한 프로젝트입니다.
Claude Opus 5.5와 Pygame을 활용해 MIDI 파일로 피아노 연주 손 애니메이션을 구현한 프로젝트입니다.