Warp가 Claude를 기반으로 자기개선 에이전트를 구축하는 방법

이 시리즈에서는 스타트업들이 AI로 산업을 혁신하는 방법을 소개합니다. 이번 글에서는 Warp가 상태 없는(stateless) 사용자 피드백을 에이전트의 자기개선 루프로 전환한 방법을 살펴봅니다.

에이전트는 반복 작업을 안정적이고 효과적으로 처리해야 합니다. 작업의 80%만 맞히는 첫 번째 프롬프트는 사용자에게 불필요한 노이즈와 불편함을 줄 수 있습니다. Warp는 이를 직접 겪으며 배웠고, 그 경험을 제품 전략에 반영해 전 세계 약 100만 명의 개발자를 위한 더 나은 경험을 만들었습니다.

AI 기반 터미널이자 에이전트 개발 환경인 Warp는 Claude 플랫폼 위에 구축되어 있습니다. 팀은 내부 코드 리뷰 에이전트에서 이 "노이즈 경험" 문제에 부딪혔습니다. 엔지니어들은 에이전트가 도움이 되지 않는 코멘트를 달고 품질이 낮은 결과물을 낸다고 불만을 제기했습니다.

팀은 처음에 코드 리뷰 실패 사례를 보고 프롬프트를 수동으로 수정하는 임시방편을 시도했습니다. 결과물의 품질은 높아졌지만 확장하기 어려웠습니다. AGENTS.md 같은 컨텍스트 파일을 개선하는 것도 도움이 됐지만, 근본적인 해결책과는 거리가 멀었습니다.

결국 팀은 핵심 문제를 깨달았습니다. 에이전트에 제공된 피드백은 목적과 무관하게 세션이 종료되면 사라지고, 에이전트 루프에서 중요한 컨텍스트가 제거된다는 점이었습니다. 이에 대한 해결책으로 팀은 에이전트 스킬(Agent Skills) 기반 프레임워크를 개발했습니다. 피드백이 시간이 지남에 따라 축적되면서 에이전트 출력을 지속적으로 개선하는 자기개선 에이전트를 만드는 것이 목표였습니다.

Claude 플랫폼 위에서 스킬을 활용해 어떻게 이를 구현했는지 계속 읽어보세요.

스킬 기반 에이전트 자기개선 루프

핵심 기법은 스킬을 활용한 자기개선 루프입니다. 스킬이란 지식을 파일 형태로 인코딩하여 지침을 원시 프롬프트 외부에 보관하는 방식입니다. Warp는 두 개의 스킬과 그 사이의 사람 피드백으로 구성된 자기개선 에이전트 아키텍처를 발전시켰습니다.

내부/기반 스킬(inner/base skill)은 기능적 도메인 지식과 지침을 담고 있습니다. 예를 들어, PR이 열리면 Warp의 코드 에이전트는 기반 스킬과 컨텍스트를 사용해 리뷰를 생성합니다.

에이전트 출력에 대한 사람의 피드백은 자기개선 루프의 핵심 요소입니다. 코드 리뷰의 경우 단순한 엄지 척 정도도 괜찮지만, 구체적일수록 더 좋습니다.

"'이건 좋고 유용한 코멘트야'라고 긍정할 수도 있지만," Warp 창업자 Zach Lloyd는 설명합니다. "코드 리뷰가 왜 좋지 않았는지 자세한 이유를 제공할 수도 있습니다. '변수 이름을 바꾸라고 제안했지만, 우리 코드베이스 관례상 이런 전역 변수는 이 특정 네이밍 컨텍스트를 사용한다'와 같은 구체적인 내용이 에이전트에게 다음에 어떻게 올바르게 해야 하는지 알려줍니다."

외부/개선 스킬(outer/improver skill)은 작업별로 실행되는 것이 아니라 일정에 따라 실행되는 관찰자 에이전트 역할을 합니다. 축적된 사람 피드백을 가져와 에이전트가 제안한 내용과 사람들의 반응을 비교하고, 기반 스킬에 대한 작고 집중된 수정을 제안합니다.

스킬은 일반 파일이기 때문에 에이전트가 업데이트하기에 매우 적합합니다. 검토, 승인, 병합이 가능한 이 업데이트들은 일반적인 PR/코드 리뷰 워크플로우를 통해 처리할 수 있으며, 병합되면 내부 스킬의 다음 실행에 개선 사항이 반영됩니다.

Warp는 현재 전체 오픈소스 저장소에 이 패턴을 적용하고 있으며, 스펙 작성, 리뷰, 트리아지(triage) 에이전트를 별도로 운영하면서 각각 자체 자기개선 루프를 갖추고 있습니다.

"파일 기반 스킬은 에이전트가 작업을 수행하는 과정에서 간단히 참조할 수 있도록, 지식을 직접 프롬프트에 넣지 않고 인코딩하는 방법입니다," Zach는 말합니다. "프레임워크는 사실 매우 단순합니다. 도메인별 기반 스킬이 있고, 그 기반 스킬을 정제하는 개선 스킬이 있습니다. 이 단순함이 이 접근 방식의 아름다움입니다."

에이전트를 위한 자기개선 스킬 작성법

다음은 에이전트 루프를 위한 자기개선 스킬 작성에 관한 Warp 팀의 검증된 팁입니다.

• 규칙이 아닌 원칙을 작성하세요. "컴퓨터를 프로그래밍하듯이가 아니라, 똑똑한 사람에게 지시하듯이 스킬을 구성하세요," Zach는 말합니다. "'반복되는 코드를 찾아봐'와 같은 방향성을 스킬에 포함하는 것이 세세한 변수 명명 규칙보다 더 나은 방향을 제공합니다."
• 이유를 설명하세요. 규칙의 근거를 제공하면 에이전트가 경직된 지침을 따르는 대신 문제에 대해 추론할 수 있게 되어, 더 나은 일반화가 가능합니다.
• 피드백을 쉽게 남길 수 있도록 하세요. PR이나 이슈에 직접 코멘트를 다는 것처럼, 사람들이 이미 작업하는 곳에서 피드백을 수집하세요. 또한 별도의 제출 단계 없이 자동으로 처리되도록 하세요. "마찰이 적을수록 신호가 계속 흐릅니다," Zach는 말합니다. "너무 어렵게 만들면 피드백을 받을 수 없고, 스킬을 개선할 수도 없습니다."
• 스킬을 작게 유지하고 점진적 공개를 활용하세요. 좋은 스킬 파일은 크지 않습니다. 모든 것을 한꺼번에 컨텍스트에 넣는 대신 리소스 파일과 스크립트를 참조합니다.
• 피드백은 품질 > 양이지만, 양도 도움이 됩니다. 시니어 엔지니어의 소량의 상세하고 도메인별 피드백은 많은 표면적 피드백보다 더 가치 있을 수 있습니다. 단순한 좋아요/싫어요는 이유를 말해주지 않기 때문입니다. "에이전트가 달리 얻을 방법이 없는 도메인별 지식에 대해 매우 상세한 피드백이라면, 비교적 작은 샘플 크기에서도 정말 좋은 신호를 얻을 수 있습니다," Zach는 계속합니다. "그렇긴 해도, 양질의 신호 코퍼스가 클수록 더 좋습니다. Warp에서는 전체 오픈소스 저장소를 관리하기 위해 루프를 사용하고 있습니다. 수백 명의 기여자가 있고 수천 건의 코드 리뷰를 진행합니다."
• 개선 스킬에 더 많은 노력을 기울이세요. 개선 스킬(관찰자 에이전트)을 작성하는 데 더 많은 노력을 기울이면 즉각적인 에이전트 루프를 넘어 더 큰 효과를 얻을 수 있습니다. 개선 스킬은 다양한 사용 사례에서 재사용성이 매우 높기 때문입니다. "도메인별 지식 구성 요소를 제외하면, 이것은 상당히 재사용 가능한 메커니즘입니다. 코드 리뷰 에이전트의 개선 스킬은 다른 어떤 에이전트의 개선 스킬과도 크게 다르지 않습니다."

루프 실전 적용: Warp의 이슈 트리아지 에이전트

Warp의 이슈 트리아지 에이전트는 자기개선 에이전트 스킬 프레임워크를 잘 보여줍니다. 누군가 새로운 GitHub 이슈를 등록할 때마다 이 패턴이 작동합니다. GitHub Action이 에이전트를 실행하면, 에이전트는 이슈의 복잡도와 실현 가능성을 분석하고 레이블을 할당하며 수정 방향을 제안합니다. 이 트리아지 에이전트는 각 레이블의 의미와 실행 전 코드베이스 조사 방법에 대한 도메인 지식을 담은 내부 스킬 파일을 기반으로 실행됩니다.

샘플 이슈에서 1단계 내부 스킬은 전반적으로 잘 작동했지만 'ready to spec'이라는 레이블 하나를 놓쳤습니다. 이 레이블은 기여자가 해당 이슈를 기반으로 제품 및 기술 스펙 작성을 시작할 수 있다는 신호입니다. Warp 팀의 메인테이너가 이 누락을 발견하고 작업이 진행되던 이슈에 직접 피드백을 남겼습니다. 중요한 점은, 그가 기대하는 것과 그 이유를 모두 설명했다는 것입니다. 에이전트가 나중에 쉽게 흡수할 수 있는 실행 가능한 피드백이었습니다.

외부 개선 스킬은 Warp의 에이전트 오케스트레이션 플랫폼인 Oz에서 예약된 "트리아지 업데이트" 에이전트로 실행됩니다. 에이전트는 GitHub에 인증하고 스킬에 포함된 Python 스크립트를 실행해 피드백이 달린 최근 이슈를 가져온 뒤, 이를 JSON 파일로 요약하여 컨텍스트로 읽어들입니다. 포함된 스크립트 자체가 모범 사례입니다. 스킬은 매번 새로운 코드를 작성하는 대신 리소스 파일을 참조할 수 있습니다.

이어서 에이전트는 메인테이너 코멘트에서 구체적인 피드백 신호를 식별하고 이를 반영하는 최소한의 수정을 제안했습니다. 정확한 UI 또는 UX 형태가 아직 정의되지 않더라도 이슈가 실제 문제를 설명하는 경우 "ready to spec" 레이블을 적용하도록 내부 스킬을 수정하는 PR을 열었습니다.

전체 업데이트가 스킬 파일이기 때문에 일반적인 코드 리뷰 워크플로우를 통해 처리됩니다. PR에는 어떤 신호가 변경을 유도했고 무엇이 수정되었는지 설명하는 내용이 포함되었습니다. 사람이 검토, 승인, 병합하면 트리아지 스킬의 다음 실행에 새로운 지식이 반영됩니다. 이 마지막 사람의 단계가 루프를 완성하고, 실제로 변경되는 내용에 대한 제어권을 사람에게 유지시킵니다.

이것이 Warp가 현재 오픈소스 저장소 전반에 걸쳐 대규모로 운영하는 메커니즘이며, 스펙 작성 에이전트, 리뷰 에이전트, 트리아지 에이전트 각각이 자체 자기개선 루프를 갖추고 있습니다.

어떤 에이전트든 처음부터 이러한 루프를 구축하면 시간이 지남에 따라 더 나아집니다. 사람의 피드백 신호를 포착하고, 이를 스킬 업데이트로 전환하며, 에이전트를 일회성 도우미에서 조직 전반에 걸쳐 성장하는 유능한 시스템으로 발전시킬 수 있습니다.

전체 웨비나 보기에서 라이브 데모와 함께 Warp가 Claude를 활용해 팀 피드백을 학습하고 스스로 개선하는 에이전트를 구축하는 방법을 더 깊이 살펴보세요.

지금 바로 Claude 플랫폼으로 구축을 시작하세요.