다들 직접 에이전트 하네스(harness)를 구축하시나요?

100% 공감해. 클라우드에 대해서는 나도 같은 생각이야. 협업할 땐 좋지만 가끔은 정말 짜증 나지.

너는 하네스로 주로 어떤 작업을 해?

맞아, 클라우드 도구의 파일 처리 방식 때문에 나도 미칠 것 같아. 로컬은 그런 마찰을 정말 많이 줄여주지.

1000% 공감해. 예전에 금융 쪽 하네스를 클라우드로 만든 적이 있는데, 지금 범용 하네스를 만드는 게 훨씬 재밌어. 제품에 대해 많이 배우게 되고 나만의 주관을 가질 수 있거든. 내 제품이니까 비전과 전략을 내가 결정하는 거지.

맞아, AI가 나한테 그냥 오픈소스 프로젝트를 개인적으로 포크해서 쓰고 git rerere로 자동 업데이트하라고 했을 때 바로 납득했지. 특히 업스트림 메인테이너들이 AI에 적대적이라서, 내가 코드 한 줄 한 줄 다 본 것처럼 속이지 않는 이상 내 PR을 절대 안 받아줄 때는 더더욱 그렇고.

궁금한 게 있는데, 하네스의 목적이 뭐야? 다른 하네스들은 왜 너한테 안 맞았어?

몇 가지 이유가 있어:

1. 코딩에만 얽매이지 않는 범용 하네스를 원해. UI가 있는 오픈 하네스들은 대부분 코딩용이거든. OpenAI나 Anthropic 말고 다른 벤더의 새 모델들을 테스트하기에 아주 유용해.

2. OpenAI와 Anthropic 둘 다 엄청 좋아하지만, 의존하고 싶지는 않아. 만약 하나를 끊게 되면 그 클라우드에 있는 내 데이터들을 잃어버리게 되니까.

난 llama.cpp랑 Jon 출력을 써서 프롬프트를 체이닝하는 간단한 쉘 스크립트를 쓰는데, 빠른 테스트용으로는 어떤 화려한 하네스보다 낫더라.

난 Julia/Typescript 에이전트 하네스를 만드는 중인데, 작업 메모리 역할을 할 Bash-like operator surface는 이미 완성했어. 빨리 끝내고 싶다, ChatGPT랑 벌써 아주 잘 작동하거든.

나도 직접 만들었는데, 하네스 자체는 지루한 10% 정도더라고. 나머지 90%는 그 주변의 것들이야: 실행 간에 메모리가 어디에 저장되는지, 에이전트가 물어보지 않고 할 수 있는 일은 무엇인지, 새벽 3시에 에이전트가 실패하면 누가 보고서를 읽는지 같은 거.

내 건 프로젝트별로 일반 파일을 쓰고 모든 에이전트 지침에 규칙 하나를 넣어뒀어: 뭐든 읽어도 되지만, 양식 작성, 결제, 게시, 삭제는 명시적인 승인이 필요하다는 규칙. 하네스에 3개월 쓰는 건 괜찮아. 하지만 그 규칙 없이 3개월 보내면 사후 분석(postmortem) 상황을 맞이하게 될 거야.