오픈소스 얼라인먼트(alignment) 도구를 기증합니다

2025년 10월, 저희는 모든 대형 언어 모델에 적용할 수 있는 오픈소스 얼라인먼트(alignment) 테스트 도구 모음 Petri를 출시했습니다. Anthropic Fellows 프로그램의 일환으로 개발된 Petri는 기만, 아첨, 유해한 요청에 대한 협력 등 우려스러운 경향을 AI 모델에서 빠르고 간편하게 테스트할 수 있는 도구입니다. AI 개발 커뮤니티 전체가 활용할 수 있는 개방적인 얼라인먼트 도구를 만들어 나가려는 저희 노력의 일부이기도 합니다.

Petri는 Claude Sonnet 4.5 이후 모든 Claude 모델의 얼라인먼트 평가에 활용되고 있습니다. 별도의 '감사자(auditor)' 모델이 시뮬레이션하는 다양한 얼라인먼트 관련 시나리오에서 새 모델의 동작을 비교 분석하고, 이후 '판정자(judge)' 모델이 생성된 대화록을 검토하여 얼라인먼트에 어긋나는 행동에 점수를 매깁니다.

Petri가 외부 기관들에서도 활발히 활용되고 있어 반갑습니다. 예를 들어, 영국 AI 보안 연구소(AISI)는 AI 연구를 방해하려는 모델의 경향을 평가하는 핵심 방법론으로 Petri를 채택했습니다.

이번에 Petri를 세 번째 버전으로 업데이트합니다. 주요 변경 사항은 다음과 같습니다.

• 적응성. Petri 3.0에서는 사용자가 더 다양한 용도로 활용할 수 있도록 대규모 아키텍처 변경이 이루어졌습니다. 특히 감사자 모델과 대상 모델을 별도의 컴포넌트로 분리하여 각각 독립적으로 조정할 수 있게 했습니다.
• 현실성. 얼라인먼트 연구자들이 테스트를 최대한 실제처럼 보이도록 노력하더라도, 모델은 설정 곳곳에 남아 있는 부자연스러운 요소들을 통해 자신이 테스트받고 있다는 사실을 종종 알아챕니다. 모델이 평가 중임을 인지하면 연구자는 그 모델의 실제 동작 방식을 파악할 수 없게 됩니다. 저희가 'Dish'라고 부르는 Petri 부가 기능은 이 문제를 해결합니다. 실제 모델 배포 환경에서 사용되는 실제 시스템 프롬프트와 실제 '스캐폴드(scaffold)'(모델이 목표를 달성할 수 있도록 감싸는 소프트웨어)를 그대로 활용해 테스트를 실행함으로써, 설정을 훨씬 더 현실적으로 만들어 줍니다.
• 심층성. 이번에 Petri를 또 다른 오픈소스 얼라인먼트 도구인 Bloom과 통합했습니다. Bloom은 Petri의 폭넓은 접근 방식과 달리, 선택한 특정 행동을 훨씬 더 심층적으로 평가할 수 있습니다.

Petri에 새 보금자리도 마련했습니다. AI 평가 전문 비영리 기관인 Meridian Labs에 Petri의 개발을 이관했습니다. 이번 이관은 Model Context Protocol(MCP)을 Linux Foundation에 기증했던 것과 마찬가지로, Petri가 어떤 AI 연구소에도 종속되지 않도록 하여 업계 안팎에서 그 결과를 중립적이고 신뢰할 수 있는 것으로 받아들일 수 있게 하기 위한 조치입니다.

Meridian Labs 산하에서 Petri는 Inspect, Scout 등 다른 도구들과 함께, AI 모델 동작에 대한 신뢰할 수 있는 테스트가 그 어느 때보다 중요한 지금 AI 연구소와 독립 연구자, 정부 모두에게 열려 있는 기술 스택을 구축해 나갑니다.

Petri 3.0에 대한 자세한 내용은 Meridian Labs 블로그에서 확인하실 수 있습니다.

Petri 설치 및 사용 방법은 Petri 웹사이트에서 확인하실 수 있습니다.