r/ClaudeAI•약 2개월 전•44•62논쟁

생물학이 사이버 보안보다 훨씬 더 위험한가?

Is biology much more dangerous than cybersecurity?

핵심 요약

Claude의 가드레일이 생물학 관련 질문을 사이버 보안 질문보다 훨씬 엄격하게 차단하는 현상에 대한 의문과 논의.

AI 가드레일 — 생물학 질문은 즉시 차단되지만 사이버 보안 질문은 허용됨
생물학적 위험 — 생화학 무기 제조 가능성에 대한 우려가 반영된 결과임
실제적 한계 — 생물학적 위험을 실현하려면 막대한 장비와 지식이 필요함
사용자 불만 — 의대생이나 연구자들도 정당한 질문을 차단당해 불편을 겪음

Fable 가드레일은 생물학 관련 질문을 사이버 보안 질문보다 훨씬 더 위험하게 취급하는 것 같다. "Terraform authentication via CyberArk Secrets Hub and MCP Gateway"라는 대화는 아무 문제 없었는데, "탄수화물을 지방으로 전환하는 것이 대사적으로 비용이 많이 들고 인간에게는 드물게 일어난다는 게 사실인가요?"라고 물었더니 즉시 차단당했다.

다른 사람들도 이런 걸 겪어봤나? 아니면 내가 사이버 보안 질문을 충분히 어렵게 안 하거나, 생물학 질문을 너무 쉽게 하는 건가?

원문

커뮤니티 목록

r/ClaudeAI•약 2개월 전•44•62논쟁

생물학이 사이버 보안보다 훨씬 더 위험한가?

Is biology much more dangerous than cybersecurity?

핵심 요약

Claude의 가드레일이 생물학 관련 질문을 사이버 보안 질문보다 훨씬 엄격하게 차단하는 현상에 대한 의문과 논의.

AI 가드레일 — 생물학 질문은 즉시 차단되지만 사이버 보안 질문은 허용됨
생물학적 위험 — 생화학 무기 제조 가능성에 대한 우려가 반영된 결과임
실제적 한계 — 생물학적 위험을 실현하려면 막대한 장비와 지식이 필요함
사용자 불만 — 의대생이나 연구자들도 정당한 질문을 차단당해 불편을 겪음

다른 사람들도 이런 걸 겪어봤나? 아니면 내가 사이버 보안 질문을 충분히 어렵게 안 하거나, 생물학 질문을 너무 쉽게 하는 건가?

주요 댓글

r/claudeai

생물학 연구의 난이도와 위험성에 대해 생물학자들은 현실적인 제약을 강조하는 반면, 일부는 대규모 인력이 투입될 경우의 잠재적 위험성을 경고하며 의견이 갈리고 있음.

Claude는 생물학 관련 질문을 차단하는 기준이 매우 낮음. 생물학이 위험한 이유는 주로 생화학 무기에 대한 공포 때문인데, 이는 비용이 적게 들면서도 매우 고통스러운 결과를 초래할 수 있기 때문임. 예를 들어, 신화적인 존재들이 만들어낸 인공적인 코로나 같은 걸 상상해 보셈.

지난 2주간 있었던 그 모든 사이버 보안 경고들이 사실은 기능 획득(gain of function) 병원체 연구였다고 상상해 보셈...

맞음. LLM이 현실 세계와 얼마나 쉽게 상호작용할 수 있는지 기억해야 함. 인터넷으로 DNA/RNA 조각을 주문 제작할 수 있음. LLM이 원하는 곳으로 배송도 해줌. 이메일로 계약 연구소와 협상해서 바이러스에 넣거나, 박테리아나 쥐 같은 데 감염시켜서 배양하게 할 수도 있음. LLM은 이런 것들을 엮어서, 뭐랄까, TaskRabbit 같은 데서 사람들을 고용해 감염된 동물을 공원에 풀어놓게 할 수도 있다고 생각함...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

BSL3/4 연구소에서 일해본 적은 없지만, 필요한 기본 기술들은 다 써봤음. 클로닝과 시퀀싱 기술은 수년간 경험이 있는 사람에게는 꽤 간단하지만, 올리고(oligos)를 제공하고 클론을 시퀀싱하는 회사들은 서열을 평가하는 정교한 프로그램을 가지고 있고, 작업(그리고 모든 세포 배양 및 수백만 개의 소모품)은 알려진 계정과 연결되어 있음. 물론 직접 올리고나 클론 등을 만들고 시퀀싱할 수는 있지만...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

정확함! 가드레일 없으면 누구나 집에서 '바이브 코딩'으로 슈퍼 코로나를 만들 수 있다는 건 터무니없는 소리임. 이건 Anthropic 측의 반경쟁적 행위일 가능성이 더 높음.

그럼 생물학 분야에서 빌드-테스트 주기에 해당하는 건 뭔데? 소프트웨어가 아니잖아. 모든 게 더 느리고, 비용도 훨씬 많이 들고, 이해도도 훨씬 떨어져.

커스텀 멀티 킬로베이스 DNA 분자를 만드는 건 비싸거나 상당한 숙련도가 필요한 작업이야. 테스트하는 것도 최소 며칠은 걸릴 정도로 느리고.

학습할 만한 고도로 설명된 서열 데이터셋이 방대한 것도 아니라서, 뭘 하나 해내려면 반복 작업이 엄청나게 필요할 거야.

소프트웨어 분야의 AI는...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

이 스레드 보면서 사람들이 생물학을 얼마나 만만하게 보는지 진짜 놀랐음. 지식은 연구의 아주 작은 첫걸음일 뿐임. 우리 분야는 보통 박사 과정 5~7년에 포닥 5년 이상은 거쳐야 독립적인 연구가 가능함.

이 댓글들 진짜 웃기네 ㅋㅋ 너네 다 뭔 소리 하는지 하나도 모르는 듯

난 생물학자임. 코로나나 다른 바이러스를 기존보다 더 위험하게 개조하는 건 절대 싼 게 아님. 시약도 비싸고 장비도 비쌈. 적법한 대학이나 기업 소속이어서 제대로 된 승인을 받은 게 아니라면, 올리고(oligos)도 직접 제작해야 하고 시퀀싱(sequencing)도 직접 해야 하는데, 기업들이 제출된 서열을 엄청 꼼꼼하게 검사하기 때문에 돌연변이나 클로닝(cloning) 과정이 엄청나게 비쌈. 게다가 해킹이랑 다르게 일반인이 그냥 앉아서…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

-2

핵심은 이거임. 바이러스학이랑 역학 포닥 1000명이 2년 동안 생물학 무기 만드는 것만 목표로 연구한다고 쳐보자. 인건비는 무시하고, 그중 최고라고 투표된 상위 1% 아이디어만 실험한다고 치고, 실험할 계약직 연구원 고용하는 데 100만 달러 예산이 있다고 해보자. 그들이 아무 성과도 못 낼 거라고 확신함? 난 아님.

만드는 데 비용이 적게 든다고? 어디서 들은 얘기임? 진심으로 궁금해서 물어봄.

-2

사실 바이러스 문제가 아님. 정말 치명적인 물질들은 현실적으로 만들기가 그렇게 어렵지 않음. 보통 순도, 안전성, 그리고 양이 문제일 뿐임. 폭발물도 마찬가지고. 그래서 이런 보호 조치가 필요한 거임. 이게 없으면 지식 격차가 사라지고 우리는 완전히 다른 세상에서 눈을 뜨게 될 거임.

-2

코로나는 AI 없이도 인공적으로 만들어졌음.

비추 박는 놈들은 다 CCP 끄나풀이거나 CCP 팬임. 둘 다 좋게 봐줘야 길을 잘못 든 거고, 나쁘게 보면 전 세계 1,500만 명 이상을 살해한 데 공모한 놈들임.

둘 다 다른 방식으로 위험함. 코딩은 Anthropic의 비즈니스 모델에 필수적이라서 핵심 고객들을 불편하게 하지 않으면서 경계하고 있다고 말하는 게 훨씬 유리함. 생물학은 강하게 차단해도 그들이 얻을 재정적 인센티브가 적어서 그냥 Opus를 쓰라는 식임. 생물 보안 분야에서 일했고 지금은 매우 무해한(문헌 관련) 코드를 작성하려고 하는데 계속 차단당하는 입장에서 이건 정말 짜증 남. 내 생각에 문제는...

원문r/ClaudeAI