AI 채팅을 위한 거버넌스 시스템을 우연히 구축하게 된 과정

먼저 저는 이걸 개별 채팅이나 에이전트, 혹은 제가 '함선(ships)' 문제라고 부르는 관점에서 보는 걸 멈춰야겠다고 깨달았습니다. 제가 발견한 가장 큰 두 가지 문제는 단일 채팅 내에서 일관된 결과를 얻는 방법과, 이전 채팅이 느려지기 시작했을 때 새로운 채팅에서 그걸 재현하는 방법이었습니다.

먼저 제 배경을 조금 말씀드리자면, 저는 지난 18년 동안 화재 경보기 견적 및 설계자로 일해왔습니다. ChatGPT를 사용하기 시작한 건 2~3개월 전쯤이었죠. 저는 업무를 더 쉽게 만들기 위해 특정 작업용 채팅을 만들어 제 워크플로우를 복제하려고 했습니다. 일주일에 평균 30~40건의 입찰 후속 이메일을 여러 계약자에게 보내야 하는데, 이걸 스프레드시트로 추적하면서 수동으로 이메일을 작성하고 있었거든요. 처음에는 정보를 저장하고 4개의 스크립트를 기반으로 계약자들에게 이메일을 생성하는 채팅을 하나 설계했습니다. 그런데 금방 이 작업은 두 개의 별도 채팅으로 처리해야 한다는 걸 알게 되었고, '핸드오프 아티팩트(handoff artifact)'를 만드는 법을 배웠습니다.

이 방식은 몇 주 동안은 아주 잘 작동했지만, 양쪽 채팅 모두 시간이 지나면서 드리프트(drift)가 발생하기 시작했고, 새로운 채팅에서 똑같이 재현하기도 어려웠습니다. 재현에 성공한 경우에도 결국 드리프트가 생기더군요. 그래서 저는 함선의 기능이나 목적에 맞게 고정해 둔 조건들을 관리하고 복제할 방법이 필요하다는 걸 깨달았습니다.

저는 스타트렉 광팬이라 채팅을 '함선'이라고 부르기 시작했습니다. 어느 날 밤 채팅을 하다가 어떻게 하면 채팅이 제대로 작동하게 하고 일관되게 재현할 수 있을지 고민하다가, 스타플릿(Starfleet)이라면 함대에서 이런 드리프트를 절대 허용하지 않았을 거라는 농담을 던졌습니다. 그렇게 '커맨드 센터(Command Center)'가 탄생했습니다. 처음에는 설계, 견제와 균형, 함선들의 청사진 저장 등을 모두 커맨드 센터에서 처리하려고 했는데, 금방 이 기능들이 한곳에 있을 게 아니라는 걸 깨달았습니다.

현재 저는 총 3개의 '함대'를 운영하고 있습니다. 글로벌(Global), 업무(Work), 개인(Personal) 함대입니다.

글로벌 함대는 전체 함대의 심장이자 두뇌입니다. 모든 새로운 함선, 패치, 글로벌 규칙 세트는 업무용이나 개인용 함선으로 파견되기 전에 이 함대를 거쳐야 합니다. 이 함대는 4개의 개별 함선으로 나뉩니다.

스핏볼(Spitball) — 새로운 아이디어나 개념을 자유롭게 펼쳐보고, '만약에(what ifs)'를 실행하거나, 조정하고 변경 사항을 만드는 곳입니다. 스트레스 테스트도 여기서 수행합니다. 이 함선은 통제 권한은 없지만, 새로운 아이디어를 거버넌스 기관을 통과시키기 전에 자유롭게 던져볼 수 있게 해줍니다.

커맨드 센터(Command Center) — 아이디어가 준비되어 실제 애플리케이션에서 테스트할 준비가 되면 이곳으로 가져옵니다. 커맨드 센터는 감사(Audit), 제어(Control), 운영(Operator)이라는 세 가지 모드를 가집니다. 모든 새로운 패치, 함선, 행동 수정, 글로벌 규칙 변경은 반드시 이 과정을 거쳐야 합니다.

조선소(Shipyard) — 함선이 거버넌스 파이프라인을 통과하면, 청사진을 저장하고 필요할 때 패치하며, 새로운 채팅이 필요할 때 불러올 수 있도록 이곳으로 가져옵니다.

레지스트리(Registry) — 함선이 지속 가능하고 실제로 유용하다고 판단되면 시스템의 일부로 기록됩니다.

솔직히 제가 이 모든 걸 '제대로' 하고 있는지는 모르겠지만, 정말 오랜만에 가장 즐거운 학습 경험을 하고 있습니다.