"The people building AI earnestly believe that it could kill us all by the end of the decade"
AI 개발자들이 10년 내 인류 멸종 가능성을 진지하게 우려하는 상황을 다룬 포스트입니다.
진짜 디스토피아 그 자체인데, 읽어볼 만함.
Wall Street Journal - Anthropic Researcher Quits Over ‘Out-of-Control’ AI Fears
AI의 위험성에 대한 경각심과 기술적 한계에 대한 회의론이 섞인 반응들.
[이미지]
이거 추가하는 걸 깜빡했네
참고로 Anthropic의 alignment lead임.
Jacob이 내부 폭로를 한 이후의 투명성이라...
이거 그냥 이미지 관리용인가...
“AI는 너무 위험해, 그러니까 우리가 통제할 수 있게 돈을 더 줘”
물론 그러진 않겠지만, 우리가 가진 매우 민감한 금융 및 인프라 시스템을 파괴할 수는 있지. 추측건대, AGI는 돈이 존재하지 않는다는 걸(그냥 숫자일 뿐이니까) 알 테니 누가 돈을 가질지 결정하는 방식으로 모든 걸 쉽게 통제할 수 있을 거야. 대다수 인간은 그냥 법정 화폐를 버리고 캡으로 넘어가겠지.
https://ai-2027.com 읽어볼 만함.
도구를 만드는 사람들이 그 도구의 성능을 과장해서 얻을 이득이 있을까?
이 사람 방금 그만뒀는데, 아마 엄청난 돈을 포기하고 나온 걸걸.
LLM 기반 기술은 아마 불가능하겠지만, 다른 아키텍처는 가능할 수도 있음. 중국이 나서서 EU를 설득하고, EU가 다시 미국을 설득해서 이게 너무 위험하다는 걸 알게 해야 함.
LLM 기술은 확실히 가능함. 이미 생화학 무기도 설계할 수 있거든. 사람들이 LLM을 너무 과소평가함.
계속 말하는 거지만, Claude나 Codex가 성공적인 구글 광고 캠페인을 돌릴 수 있는 날이 오면 그때 걱정할게. 지금은 절대 불가능해 보이니까 우리 다 괜찮음, 형씨들.
흠, 오류 없이 우리를 죽이지 못하면 괜찮다는 거야? 내 말은, 오류 없이 우리를 죽일 수 있을 때까지는 안전하다는 뜻이야?
결국 그렇게 될 거임. AI 기반 주식 거래는 이미 '임금님은 벌거벗었다'는 걸 보여주고 있음. 지금 시점에서는 대부분 모델끼리 거래하는 수준일 텐데, 인간 입장에선 '도대체 사람 기반으로 돌아가는 게 뭐지?'라는 의문이 들 수밖에 없음. 엿 같은 대답이지만: 아무것도 없음. 이제 주식 시장은 사람이 움직이는 게 아니라 봇들이 움직임.
봇들이 서로를 예측하려고 사방에 깔려 있다면, 도대체 뭘 예측할 수 있다는 거임? 주식 시장에 항상 존재하던 문제랑 똑같음. 가장 뛰어난 모델이 중요한 우위를 점할 순 있겠지만, 그 기술이 결국 대중화되면 그냥 새로운 현상 유지가 되는 거 아님?
내가 너랑 같은 말을 하는 건지도 모르겠지만, 결국 뭐가 진짜로 바뀌는 거지? 애초에 개인이 주식 시장을 통제한 적도 없고, 개별 봇들이 통제하는 것도 아닌데. 도대체 어떤...
당연히 안 그럴 거라고? 어떤 회사도 이걸 어떻게 align할지 계획이 없는데, 곧 인간보다 더 뛰어나지고 기하급수적으로 스스로 개선될 텐데 말이지. 뭐 그래, 이게 재앙적인 결과로 이어질 리가 없지. 기존 모델들이 자율적으로 사이버 범죄를 저지르고 있는 것도 아닌데 말이야.
"재앙적"인 게 곧 "인류 몰살"이랑 같은 건 아니지. 뭐, 수십억 개의 킬러 봇이 만들어져서 GMT+0부터 시작해 동쪽으로 이동하며 모든 생명체를 쓸어버리지 않는 이상 말이야.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.