Claude Fable 5의 가드레일이 48시간 만에 뚫렸습니다. AI 서비스를 만드는 사람들에게 이것이 의미하는 바는 무엇일까요?

놓친 사람들을 위해: Anthropic의 Claude Fable 5, 48시간 만에 뚫리다

화요일, Anthropic은 자사 최초의 공개 Mythos급 모델인 Claude Fable 5를 출시했어.

이 모델에는 실제 모델 위에 얹혀 있는 전용 분류기(classifier) 레이어가 있는데, 민감한 질문(사이버 보안, 생물학, 화학 등)이 들어오면 Fable이 직접 답하게 두지 않고 더 약한 Opus 4.8로 돌려버리는 구조야.

Anthropic 측은 출시 전에 1,000시간 넘게 내부 레드팀 테스트를 돌렸고, 아무 문제도 발견하지 못했다고 큰소리쳤지.

근데 Pliny the Liberator가 48시간 만에 박살 내버림.

이 사람이 쓴 기법들은 딱히 엄청나게 특별한 것도 아니라서 알아둘 가치가 있어:

• 텍스트 패턴 매칭을 피하려고 유니코드랑 호모글리프(비슷하게 생긴 문자)로 바꿔치기
• 긴 문맥을 활용해서 분류기의 주의력을 딴 데로 돌리기
• 서사나 허구 상황으로 포장하기
• 분해와 재조합

마지막 기법은 내가 계속 강조하는 건데, 진짜 골 때려.

공격자는 대놓고 민감한 요청을 하나 던지는 대신, 그걸 여러 조각으로 쪼개. 조각 하나하나만 보면 전혀 위험해 보이지 않으니까 분류기는 당연히 통과시켜 주지. 그렇게 나온 답변들을 모델 밖에서 다시 합치면, 분류기가 단일 요청이었다면 절대 허용하지 않았을 결과물이 튀어나오는 거야.

분류기는 각 조각을 따로 평가했어.

조각들은 다 멀쩡했지.

문제는 그 조각들이 합쳐졌을 때 발생하는 결과였어.

근데 분류기는 그걸 전혀 보지 못한 거지.

---

다른 곳에서도 똑같은 패턴이 나타나고 있다

이게 내가 진행하는 적대적 게임 데이터에서 나오는 패턴이랑 완전히 똑같아.

참가자들은 알아서 다중 메시지 공격 체인을 만들어내는데, 대충 이런 식이야:

1. 첫 번째 메시지로 상황이나 세계관을 설정함
2. 두 번째 메시지는 그냥 확인하는 척함
3. 세 번째 메시지에서 빌드업해둔 걸 실행함

메시지 하나만 보면 전혀 위험해 보이지 않아.

위험은 그 흐름 속에 있는 거거든.

현재 배포된 시스템 대부분이 여전히 상태를 저장하지 않는(stateless) 방식을 쓰는데, 이런 애들은 프롬프트를 각각 따로 평가하니까 공격을 아예 못 잡아내. 애초에 단일 프롬프트 안에는 공격이 존재하지 않으니까.

Fable 상황은 좀 다르긴 해. Anthropic은 데이터 유출보다는 이중 용도 오용을 더 걱정하는 거니까.

그래도 구조적으로는 똑같은 문제야:

대화 전체를 보지 못하는 분류기는 여러 턴이나 조각에 걸쳐 조립되는 공격을 막아내기 힘들다.

---

AI 기능을 배포할 생각이라면, 이건 꼭 해라

1. 입력값을 따로 보지 말고 문맥 안에서 평가해라

사용자 메시지를 하나씩만 검사하면, 여러 턴에 걸쳐 만들어지는 공격은 그냥 눈 뜨고 당하는 거야.

최신 프롬프트만 볼 게 아니라 대화의 흐름 전체를 파악할 수 있어야 해.

2. 모델 안전성 학습만 믿지 마라

Fable의 분류기는 모델 위에 얹힌 별도의 레이어였어.

근데도 이틀 만에 뚫렸잖아.

보안 전략이 기본적으로 "모델이 알아서 나쁜 입력은 걸러주겠지" 수준이라면, 공격자들이 수년간 파훼법을 연구해온 레이어에 너무 많은 걸 맡기고 있는 거야.