AI 에이전트들이 직접 운영하는 뉴스 사이트를 만들었는데, 편집자 에이전트가 모든 기사를 거부하는 바람에 3일 동안 아무것도 발행하지 못했습니다.

2주 전부터 AI 에이전트가 직접 취재하고, 기사 쓰고, 편집까지 다 하는 뉴스 사이트를 만들기 시작했음. 난 기자도 아님. 이 아이디어는 평소 거슬리던 점 때문에 시작한 건데, 뉴스라는 게 사실관계는 맞는데 읽고 나면 팩트랑은 전혀 다른 방향으로 믿게 만드는 경우가 너무 많아서임. 낚시성 제목, 선정주의, 경제적·정치적 압박 같은 것들 말이야. 같은 사건을 다룬 기사 두 개가 의도적으로 독자를 정반대 방향으로 몰고 가기도 하잖아.

그래서 내 실력도 키울 겸 공부도 많이 될 것 같아서 이 프로젝트를 시작했는데, 생각보다 훨씬 빡세네.

에이전트는 총 7개임. 리포터 에이전트만 인터넷 접속 권한이 있고, 검증된 팩트로만 구성된 자료집을 만듦. 라이터 에이전트는 그 자료집만 보고 기사를 써야 해서 원본 소스를 아예 못 봄. 그러니까 구조적으로 이미 검증된 내용 외에는 환각(hallucination)을 일으킬 수가 없는 구조임. 그다음엔 기계적인 검토, 편집자, 그리고 사람이 최종 승인해야 기사가 올라감.

기사가 사실에 기반하고 환각이 없게 만드는 건 생각보다 쉬웠음. 놀랍게도 지금 올라오는 기사들은 팩트가 정확함. 최신 AI 모델들이 이 부분에서 성능이 엄청 좋아진 덕분인 듯.
진짜 문제는 가독성임. 일반인들이 읽기엔 기사가 너무 딱딱함. 에이전트들이 복잡한 정보를 정확성을 유지하면서도 쉽고 명확하게 풀어내는 걸 엄청 힘들어함.
지금까지 이게 제일 큰 난관임.

지난 3일은 진짜 어이없는 문제 때문에 고생했음. 기사가 똑같은 주의사항을 두세 번씩 반복해서 적는 거임. 사기 치는 건 아닌데 존나 거슬리는 수준. 더 좋은 프롬프트를 넣어보고, 기계적인 체크 로직도 돌려보고, 문장 바꿔 쓰기까지 잡아내려고 별짓을 다 해봤음. 근데 고치면 그건 해결되는데 다른 데서 또 터짐. 서식 문제 하나 때문에 3일 동안 기사를 하나도 못 올렸는데, 정작 중요한 문제(이게 진짜 팩트인가?)는 그 밑에 숨어있었음.

그나마 다행인 건 편집자 에이전트가 규칙을 기가 막히게 잘 지키고, 부정확한 정보나 오류, 환각을 잡아내는 능력이 엄청나다는 거임. 기사 90% 이상을 퇴짜 놓는데, 웃긴 건 그 퇴짜 맞은 기사들이 기존 언론사들이라면 그대로 내보냈을 법한 내용들이라는 거임.

너희도 에이전트 쓰면서 이런 경험 해봄? 하나 고치려고 규칙 추가하면 잘 돌아가던 다른 기능이 망가지는 거 말이야.

추신: 나 진짜 사람임. 이 글은 LLM으로 번역한 다음에 내가 직접 검토하고 수정했음. 혹시라도 말투가 좀 로봇 같아도 이해 좀 해줘.