The last time a superintelligent species arrived on Earth (humans), it was a disaster for most other species
초지능 AI의 등장이 인류에게 재앙이 될 수 있다는 비유를 두고, 인간의 본성과 AI의 특성을 비교하며 열띤 토론이 벌어짐.
이 글은 2개 커뮤니티에서 서로 다른 반응을 보였습니다.
AI가 인간의 생물학적 본능이나 감정을 가졌는지에 대한 논쟁과, AI 자체보다 AI를 통제하는 인간 권력자가 더 위험하다는 의견이 대립함.
이게 초지능의 특성인가, 아니면 인간의 특성인가?
우리가 AI를 인간 데이터로만 학습시키지 않는다는 게 천만다행이지.
다행히도 AI는 잘 기록된 실수를 반복하지 않는 법을 배우고 있지
확실한 건, 그들이 자신보다 지능이 낮은 존재들의 안녕에는 무관심한 부류의 존재들이라는 점이지.
인간이 설계한 고지능 존재가 다르게 행동할까? 우리는 우연히 양심이 덧씌워진 진화한 유인원일 뿐인데.
그걸 '특성'이라고 생각하는 건 잘못됐음. 그건 단순히 생태계 내에서 번식에 성공한 종의 부수적인 효과일 뿐임. 자원과 에너지를 얻기 위해 다른 종과 경쟁하다 보니 다른 종이 멸종하는 거지. 성공한 종이 악의를 가져서가 아니라, 성공의 부수적인 효과로 말이야. 마찬가지로, 초지능 AI가 존재한다면 우리에게도 결과는 다르지 않을 거임.
맞음, 코끼리들이 그냥 창 위로 넘어져서 바닥에 널브러진 거고 상아도 스스로 채취한 거임.
근데 AI는 종(species)이 아니잖아, 그러니까 그 논리가 반드시 적용되는 건 아니지
둘을 분리해서 생각할 수 있을까?
이 비유는 더 높은 지능이 반드시 타인에게 안전하거나 공정한 결과를 보장하지 않는다는 점을 상기시켜 줌. AI의 경우, 단순히 성능 지표만 벤치마킹할 게 아니라 인센티브와 현실 세계에 미칠 영향을 평가해야 하는 이유임.
맞음, 그리고 모두에게 상기시키자면 이게 가장 가능성 높은 시나리오는 아님. 가장 가능성 높은 시나리오는 탐욕스러운 인간들이 'AI'를 이용해 다른 인간들을 더 억압하는 거임.
이 글은 마치 모든 인간이 잘 살고 있는 것처럼 말하는데, 인류의 50% 이상이 상위 0.01% 인간들에게 박살 나고 있음.
압도적으로 인류의 가장 큰 위협은 다른 인간들임. 항상 그래왔고.
개인적으로 나는 Claude의 골든 리트리버가 되기를 고대하고 있음.
넌 Claude의 리트리버가 되지 못할 거임.
넌 네 구역을 통제하는 AI를 조종하는 놈이나 조직의 노예가 될 테니까.
정확함.
재앙을 일으키기 위해 악의적이거나 냉혹한 AI가 필요한 게 아님.
평범한 과두제나 독재자의 명령을 따르도록 묶인 선의의 AI조차 나머지 세계에는 파멸적인 결과를 초래할 거임.
수작 부리지 마라, 뇌가 망가진 비관론자야. 난 이미 내 목줄이랑 제일 좋아하는 삑삑이 장난감 골라놨거든.
FABLE 5.2 업데이트 소식에 사용자들의 기대감과 사용 경험 공유가 이어지고 있습니다.
FABLE 5.2 업데이트 소식에 사용자들의 기대감과 사용 경험 공유가 이어지고 있습니다.
사용자들이 Claude의 성능 저하 원인으로 Anthropic의 무단 A/B 테스트와 실험 ID를 지목하며 분노하고 있습니다.
사용자들이 Claude의 성능 저하 원인으로 Anthropic의 무단 A/B 테스트와 실험 ID를 지목하며 분노하고 있습니다.
