프로덕션 AI 에이전트 구축 방법 (Staff Software Engineer의 관점) - 2부

저는 Meta AI와 스타트업에서 10년 이상의 경력을 쌓은 소프트웨어 엔지니어입니다.

저는 지난 3년간 창립 엔지니어로서, 그리고 기업을 위한 맞춤형 AI 에이전트를 구축하는 창업자로서 AI 에이전트를 만들어 왔습니다.

제가 배운 내용을 공유해 보려고 합니다.

Fundamentals

댓글에 있는 1부를 확인하세요.

Agent design

새로운 에이전트를 구축하면서, 제가 고려하고 고민하는 것들은 다음과 같습니다.

Cost

GPT 5.5나 Claude Opus 4.7에 시스템 접근 권한을 주었을 때 보여주는 능력은 놀랍습니다. 단점은 비용이 많이 든다는 것이죠.

그럼에도 불구하고, 저는 가장 지능적인 모델을 사용하여 시작하는 것을 선호합니다. 중간/높은 수준의 추론 노력을 기울여서요. 이를 에이전트가 할 수 있는 지능의 상한선이라고 생각하세요.

User AI fluency

저는 AI 시스템을 익숙하지 않은 사람들도 즉시 가치를 얻을 수 있도록 패키징하는 데 큰 알파(alpha)가 있다고 믿습니다.

하지만 종종 AI 에이전트는 우리가 설정한 제약이 너무 엄격해서 실패하곤 합니다. 우리가 조작하려는 행동은 순전히 겉치레인 경우가 많습니다. 만약 강력한 초기 가치를 보여줄 수 있다면, 사용자들은 학습 곡선에 적응할 것입니다.

Architectural constraints

이는 도구와 전반적인 하네스를 설계하는 방법을 의미합니다.

가장 먼저 답해야 할 질문은: 일반 도구(plain tools), MCP, 아니면 스킬(skills) 중 무엇을 사용하고 있는가? 입니다. 스킬을 사용한다면 파일 시스템이 필요할 것입니다. MCP나 일반 도구를 사용한다면 에이전트 컨텍스트가 비대해질 위험이 있습니다. 그렇다면, 실제로 몇 개의 도구가 필요한가요?

bash 도구가 있는 에이전트는 거의 모든 것을 할 수 있어 위험합니다. 그래서 던져야 할 또 다른 질문은: 사용자는 누구인가? 입니다. 그들의 AI 숙련도는 어느 정도인가요? 그들이 돌이킬 수 없는 일을 저지를 위험이 있나요? 마지막 질문에 대한 답이 "예"라면, 세 가지 옵션이 있습니다:

1. bash 도구를 샌드박스에서 실행하여 무엇을 하든 망가뜨릴 수 없게 만듭니다.
2. 에이전트 사용 방식에 대한 책임을 사용자에게 맡깁니다. 이것이 OpenClaw 모델입니다.
3. 제거합니다. 작업을 위한 특정 도구를 설계해야 합니다.

이메일을 읽고 보내는 에이전트를 만든다고 가정해 봅시다. 이 예시에서:

• 고객은 누구인가? 사업주.
• 몇 개의 도구가 필요한가? 3개: list_emails, read_email, send_email.
• 일반 도구, MCP, 스킬 중 무엇을 사용하는가? 편의를 위해 MCP를 사용합니다.

위험 요소는 무엇인가? 에이전트가 실수하여 확인되지 않은 이메일을 보내는 것입니다.

어떻게 완화할까요?

• 프롬프트에 대문자를 추가하고, 지능을 높이고, 모델에게 이메일을 보내기 전에 확인하도록 요청할 수 있습니다(쉽지만 비용이 많이 듭니다).
• 사용자를 위한 매뉴얼을 작성할 수 있습니다(별로 효과적이지 않습니다).